模式识别与人工智能.pdf

《模式识别与人工智能.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别与人工智能原理乔谊正教授山东大学，控制科学与工程学院2006年十二月学而不思则罔；思而不学则殆。-孔子Learningwithoutthoughtmeanslaborlost;thoughtwithoutlearningisperilous.-Confucius知识有两种，其一是我们自己精通的问题，其二是我们知道在哪里可以找到关于某问题的知识。-约翰逊Knowledgeisoftwokinds,weknowasubjectourselves,orweknowwecanfindinformat

2、ionuponit.-SamuelJohnson第三章统计模式识别方法3.1引言n判别域代数方程法只能适合具有确定性特征的分类问题。然而，非确定性特征的分类问题大量存在。例如，通过物理测量手段获得的数据，一般是具有统计特性的统计量。许多用来描述模式的特征，在本质上讲是非确定性的。n不同类别的边界存在相互交叠或覆盖，也是实际分类问题中经常碰到的现象。该现象的实质是，模式类别在特征空间中呈现空间密度分布的事实。n分类结果的可靠性或可信度，常常与模式类别的分布形式密切相关，所以，进一步考虑模式样本的总体分

3、布特点，有助于对模式分类机制的深入了解。n统计分类法的发展正是为了解决上述判别域代数方程法不能解决的问题。3.1.1模式识别的统计模型n随机模型是用来描述自然界中不确定现象的数学模型。有大量自然现象可以用概率与统计规律很好地加以描述。n考察例1.1中的身高和体重两个特征量。一方面，由于测量过程具有不确定性。另一方面，用身高和体重描述男生和女生，在本质上是一种运用统计规律的描述。所以应当采用统计（随机）模型，而不是简单的确定性模型。n统计模型的要点是，将模式的特征量考虑为符合某种统计规律（概率密度分布

4、）的随机量。而任一个模式样本是取自总体中的一个个体。n因此，在统计模式识别中主要要解决下列三个问题。n判别问题：已知若干总体分布，当给出一个个体样本时，要确定这个样本属于哪个总体？n训练问题：已知一些个体样本，分别属于某些总体，要确定这些总体的分布规律（或参数。）n误判率问题：研究运用上述模型所造成的误判率的计算。3.1.1模式识别的统计模型n用下面简图表示该统计模型：下面通过一个例子说明整个过程。例3.1男生女生的分类问题（统计模型）样本的特征数据和例1.1相同。假定男生和女生的身高和体重都符合正

5、态分布，分别形成两维的类正态密度函数。3.1.1模式识别的统计模型n类分布密度函数：1/22假设：P(Xi)=(1/2p

6、Si

7、)exp(-gi/2);i=1,2;P(Xi)分别为男生和女生的类分布密度函数（两维正态型）。其中Si是2*2协方差矩阵;

8、Si

9、是Si的行列式。2T-1gi=(Xi-mi)Si(Xi-mi);mi为Xi的均值矢量。正态密度分布函数实际上只包含两个参数：mi和Si。他们的含义和图形，在一维条件下，大家一定很熟悉。两维也不难想象，但是三维以上就没有直观形象了。为了便于形象地描

10、述，以后我们常举一维或两维特征为例。但是，应该清楚统计模型适合于有限维。3.1.2判别问题n判别问题是解决：已知若干总体分布，当给出一个个体样本时，要确定这个样本属于哪个总体。右图表示已知三类分布，A,B,和C。当给出一个未知类别的样本x时，如何确定x应当属于哪个类别总体？n一个可行的解决方案是计算x到各类总体的距离，选择最短距离的总体，作为x的最优归属类别。n这就需要规定一个点到一个类总体的距离。很显然，这个距离定义不是一般意义下的那种。因为这个距离除了与点到总体的均值距离成正比之外，还应当与该总

11、体的协方差成反比。所以，需要定义统计距离。3.1.2判别问题n常用的统计距离定义有许多，其中最著名的是马氏距离(MahalanobisDistance)：-11/2dij=[(xi–xj)’S(xi–xj)]。n利用马氏距离，可以确立判别问题的准则。称之为马氏距离分类法。3.1.3马氏距离分类法首先讨论两类问题，分两种情况。然后推广到多类问题。(1)(2)n两类、等协方差：定义判别函数为任一点X到两类总体m和m的马氏2(1)2(2)距离平方差。即d(X,m)-d(X,m)=(1)-1(1)(2)-1

12、(2)(X-m)’S(X-m)-(X-m)’S(X-m)=-2W(X);其中(1)(2)-1(1)(2)W(X)=[X–(m+m)/2]’S(m-m)；(1)判决条件为：当W(X)<0，判X属于总体m；(2)W(X)>0，判X属于总体m；W(X)=0，不能/任意确定。3.1.3马氏距离分类法n两类、不等协方差：此时的判别函数是关于X的二次函数。(1)-1(1)(2)-1(2)W(X)=(X-m)’S1(X-m)-(X-m)’S2(X-m)；判决条件与上述相同。n多类问