哈工大 模式识别第3章ppt课件.ppt

《哈工大 模式识别第3章ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章非参数判别分类方法非参数判别分类法贝叶斯决策理论：要设法获取样本统计分布的资料,要知道先验概率，类条件概率密度函数等。类条件概率密度函数的确定是通过确定其函数形式p(x

2、ωi)并对其参数估计来完成的。因此，以贝叶斯决策方法为基础的方法称为参数判别方法问题：1）类条件概率密度函数形式p(x

3、ωi)很难确定2）在样本数不足条件下获取准确的统计分布是困难的解决办法：根据训练样本集直接进行分类器设计。这种方法绕过统计分布状况的分析，绕过参数估计这一环，而企图对特征空间实行划分，称为非参数判别分类法，即不依赖统计参数的分类法。学习指南了解非参数判别分类方法在模式识别技术中

4、所处的地位。是当前模式识别中主要使用的方法。非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。最重要的概念是分类器设计用一种训练与学习的过程来实现。要进一步体会模式识别中以确定准则函数并实现优化的计算框架。学习目的掌握非参数判别分类法的原理掌握机器自学习的原理。学习线性分类器的几种典型算法用近邻法进行分类通过相应数学工具的运用进一步提高运用数学的本领重点非参数判别分类器的基本原理，与参数判别分类方法的比较线性分类器的几种典型方法——以Fisher准则为代表的传统模式识别方法以感知准则函数为代表的机器自学习方法近邻法的工作原理及其改进线性分类器扩

5、展到非线性分类器两类别分类方法与多类别分类方法难点Fisher准则函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的特征值、特征向量等数学工具。要求对这些数学工具较深理解。感知器准则函数提出利用错误提供信息实现叠代修正的学习原理近邻法的改进§3.1引言贝叶斯决策理论设计分类器的步骤非参数判别分类非参数判别分类方法两个过程确定使用什么典型的分类决策方法即决定判别函数类型（如线性判别函数）及优化准则利用训练样本集提供的信息及优化准则（Fisher准则、感知函数准则、最小错分样本数准则等）确定这些函数中的参数。相对最小错误率及最小风险决策（最优分类器）而言，是次优

6、方法，但在所提准则下，是最好的。§3.2线性分类器判别函数是线性判别函数的分类器称为线性分类器主要工作：用训练样本去估计线性判别函数的参数3.2.1线性判别函数的基本概念线性判别函数的一般形式w0是一个常数，称为阈值权两类别线性判别函数的决策规则g(X)＝0就是相应的决策面方程，在线性判别函数条件下它对应d维空间的一个超平面向量W的意义设在该决策平面上有两个特征向量X1与X2，则W与该平面上任两点组成的向量(X1-X2)正交W是该超平面的法线向量g(X)是d维空间任一点X到决策面H的距离的代数度量w0体现该决策面在特征空间中的位置1)w0=0时，该决策面过特征空间坐标

7、系原点2)否则，R0=w0/

8、

9、W

10、

11、表示坐标原点到决策面的距离g(X)/

12、

13、W

14、

15、R0=w0/

16、

17、W

18、

19、XXpR1:g>0R2:g<0正侧负侧H:g=0g(X)、w0的意义rg(X)的意义设Xp是X在H上的投影向量，r是x到H的垂直距离W/

20、

21、W

22、

23、是W方向的单位向量，则g(X)=WTx+w0=WT(Xp+rW/

24、

25、W

26、

27、)+w0=(WTXp+w0)+rWTW/

28、

29、W

30、

31、=r

32、

33、W

34、

35、r=g(X)/

36、

37、W

38、

39、若X=0(原点)，则g(X)=WTx+w0=w0否则：r0=g(0)/

40、

41、W

42、

43、=w0/

44、

45、W

46、

47、利用线性判别函数决策，就是用一超平面将特征空间分为两个决策域。

48、超平面的方向由W确定，位置由W0决定。g(x)>0,X在H的正侧；X→ω1g(x)<0,X在H的负侧；X→ω23.2.2广义线性判别函数欲设计这样一个一维样本的分类器，使其性能为：线性判别函数：无能为力若设计判别函数(非线性)g(x)＝(x-a)(x-b)决策规则若：g(x)>0,决策：X∈w1g(x)<0,决策：X∈w2则可正确分类广义线性判别函数选择一种映射X→Y，将原样本特征向量X映射成另一向量Y，从而可以采用线性判别函数的方法。广义线性判别函数线性判别函数优点具有形式简单计算方便的优点已被充分研究希望能将其用适当方式扩展至原本适宜非线性判别函数的领域采用映射x

49、→Y则：判别函数g(x)又可表示成g(x)被称为广义线性判别函数，a称为广义权向量例如，对于二次函数情况，其一般式可表示成：按照这种原理，任何形式的高次判别函数都可转化成线性判别函数来处理。这种处理非线性分类器的方法，在支持向量机中得到充分的研究。产生问题:维数会增加很多推广----线性判别函数的齐次简化将g(x)中的W向量与w0统一表示成称为增广样本向量a:称为增广权向量(广义权向量)它使特征空间增加了一维，但保持了样本间的欧氏距离不变，对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的，这在分析某些问题时具有优点，因此经常用到。例