哈工大模式识别第3章ppt课件.ppt

《哈工大模式识别第3章ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章非参数判别分类方法非参数判别分类法贝叶斯决策理论：要设法获取样本统计分布的资料,要知道先验概率，类条件概率密度函数等。类条件概率密度函数的确定是通过确定其函数形式p(x

2、ωi)并对其参数估计来完成的。因此，以贝叶斯决策方法为基础的方法称为参数判别方法问题：1）类条件概率密度函数形式p(x

3、ωi)很难确定2）在样本数不足条件下获取准确的统计分布是困难的解决办法：根据训练样本集直接进行分类器设计。这种方法绕过统计分布状况的分析，绕过参数估计这一环，而企图对特征空间实行划分，称为非参数判别分类法，即不依赖统计参数的分类法。§3.1引言贝叶斯决策理论设计分类器的步骤非参数判别分类非参数判

4、别分类方法两个过程确定使用什么典型的分类决策方法即决定判别函数类型（如线性判别函数）及优化准则利用训练样本集提供的信息及优化准则（Fisher准则、感知函数准则、最小错分样本数准则等）确定这些函数中的参数。相对最小错误率及最小风险决策（最优分类器）而言，是次优方法，但在所提准则下，是最好的。§3.2线性分类器判别函数是线性判别函数的分类器称为线性分类器主要工作：用训练样本去估计线性判别函数的参数3.2.1线性判别函数的基本概念线性判别函数的一般形式w0是一个常数，称为阈值权两类别线性判别函数的决策规则g(X)＝0就是相应的决策面方程，在线性判别函数条件下它对应d维空间的一个超平面向量W

5、的意义设在该决策平面上有两个特征向量X1与X2，则W与该平面上任两点组成的向量(X1-X2)正交W是该超平面的法线向量g(X)是d维空间任一点X到决策面H的距离的代数度量w0体现该决策面在特征空间中的位置1)w0=0时，该决策面过特征空间坐标系原点2)否则，R0=w0/

6、

7、W

8、

9、表示坐标原点到决策面的距离g(X)/

10、

11、W

12、

13、R0=w0/

14、

15、W

16、

17、XXpR1:g>0R2:g<0正侧负侧H:g=0g(X)、w0的意义rg(X)的意义设Xp是X在H上的投影向量，r是x到H的垂直距离W/

18、

19、W

20、

21、是W方向的单位向量，则g(X)=WTx+w0=WT(Xp+rW/

22、

23、W

24、

25、)+w0=(WTXp+w

26、0)+rWTW/

27、

28、W

29、

30、=r

31、

32、W

33、

34、r=g(X)/

35、

36、W

37、

38、若X=0(原点)，则g(X)=WTx+w0=w0否则：r0=g(0)/

39、

40、W

41、

42、=w0/

43、

44、W

45、

46、利用线性判别函数决策，就是用一超平面将特征空间分为两个决策域。超平面的方向由W确定，位置由W0决定。g(x)>0,X在H的正侧；X→ω1g(x)<0,X在H的负侧；X→ω23.2.2广义线性判别函数欲设计这样一个一维样本的分类器，使其性能为：线性判别函数：无能为力若设计判别函数(非线性)g(x)＝(x-a)(x-b)决策规则若：g(x)>0,决策：X∈w1g(x)<0,决策：X∈w2则可正确分类广义线性判别函数选择一种映射X→

47、Y，将原样本特征向量X映射成另一向量Y，从而可以采用线性判别函数的方法。广义线性判别函数线性判别函数优点具有形式简单计算方便的优点已被充分研究希望能将其用适当方式扩展至原本适宜非线性判别函数的领域采用映射x→Y则：判别函数g(x)又可表示成g(x)被称为广义线性判别函数，a称为广义权向量例如，对于二次函数情况，其一般式可表示成：按照这种原理，任何形式的高次判别函数都可转化成线性判别函数来处理。这种处理非线性分类器的方法，在支持向量机中得到充分的研究。产生问题:维数会增加很多推广----线性判别函数的齐次简化将g(x)中的W向量与w0统一表示成称为增广样本向量a:称为增广权向量(广义权向

48、量)它使特征空间增加了一维，但保持了样本间的欧氏距离不变，对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的，这在分析某些问题时具有优点，因此经常用到。例如：一个一维特征空间的分类器，其决策面方程为：X-c=0在一维空间中为一个点。经齐次简化后得：y1y23.2.3线性分类器设计步骤线性分类器设计任务在给定样本集XX={X1,X2,…,XN}条件下，确定线性判别函数的各项系数,w1,w2,…,wd，以期对待测样本进行分类时，能满足相应的准则函数J为最优的要求。关键问题:确定所需的准则函数，然后用最优化技术确定准则函数的极值解w*及w0*，或增广权向量a*具体过程1、按需

49、要确定一准则函数J。2、确定准则函数J达到极值时w*及w0*的具体数值，从而确定判别函数，完成分类器设计。设计线性分类器，是指所用的判别函数、分界面方程的类型已选定为线性类型，因此主要的设计任务是确定线性方程的两个参数，一个是权向量W，另一个是阈值w0。3.3Fisher线性判别函数Fisher线性判别函数是研究这类判别函数中最有影响的方法之一。对线性判别函数的研究就是从R.A.Fisher在1936年发表的论文开始的。Fisher线性判别函