模式识别-非参数估计.ppt

《模式识别-非参数估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别PatternClassification第五章:非参数估计非参数估计原理在实际应用中，类概率密度函数形式已知的条件并不一定成立，特别是多峰的概率分布，用普通函数难以拟合，这就需要用非参数估计技术。非参数估计的原理是：不需获取类类概率密度的函数形式，而是直接利用学习样本估计特征空间任意点的类概率密度的值。即直接由学习样本来直接设计分类器。3模式识别，第五章非参数估计方法直接由学习样本估计类概率密度P(X/ωi)，Parzen窗口法直接由学习样本估计后验概率P(ωi/X)，Kn近邻法非参数估计法Par

2、zen窗口法Kn近邻法4模式识别，第五章非参数估计思路鲑鱼鲈鱼5模式识别，第五章非参数估计思路用已知类别的学习样本在x处出现的频度来近似P(X/ωi)，即：其中：v为包含X点的区域6模式识别，第五章非参数估计K为n个样本中落入体积v的样本数。故：表示单位体积内落入x点邻域的样本在总样本中的比例，可以此来近似样本在X点处的类概率密度值。7模式识别，第五章非参数估计8模式识别，第五章非参数估计问题一若v固定，则当n增大时，只能表示平均概率，而不是点概率密度因此，为保证为点概率密度，必须有9模式识别，第五章非参数

3、估计10模式识别，第五章非参数估计问题二若样本数n固定，则当时，则会出现x邻域内不包含任何样本，得出的错误估计11模式识别，第五章非参数估计12模式识别，第五章非参数估计解决方案考虑让v和k都随n的变化进行调整，即：13模式识别，第五章非参数估计显然为保证的合理性，应满足如下条保证时，收敛于点概率密度保证不出现0概率密度保证收敛14模式识别，第五章非参数估计基本方法Parzen窗口法：主动选择vn与n的关系，kn被动确定，指n个样本中落入区域v的样本数kn近邻法：主动选择kn与n的关系，vn被动确定，指包含

4、kn个样本的x邻域15模式识别，第五章Parzen窗口法设样本特征空间为d维，Rn为d维超球体，vn为其体积，hn为其直径16模式识别，第五章Parzen窗口法可以证明，满足前述三个条件的等效条件为：17模式识别，第五章Parzen窗口法因此，可选择均能满足条件，其中h1为可调常数主动选择vn与n的关系后，kn如何确定？18模式识别，第五章Parzen窗口法如前所述，kn即为n个样本中落入体积中的样本数定义窗函数如下：其中，Xi(i=1,2,…,n)为学习样本,X为特征空间中的待估密度点19模式识别，第五章

5、Parzen窗口法20模式识别，第五章Parzen窗口法矩形窗21模式识别，第五章Parzen窗口法则有上式即是由学习样本直接估计特征空间X点处概率密度的方法，称为Parzen窗口法22模式识别，第五章Parzen窗口法一种更为合理的窗函数为正态窗23模式识别，第五章Parzen窗口法正态窗24模式识别，第五章Parzen窗口法若采用正态窗，则25模式识别，第五章Parzen窗口法例：已知某一维模式类的实际概率密度函数为：试用Parzen窗口法对n=1、n=16、n=256及情况下的概率密度进行估计。26模

6、式识别，第五章Parzen窗口法解：采用正态窗函数令则对一维空间其中为可调常数27模式识别，第五章Parzen窗口法28模式识别，第五章Parzen窗口法可以看出：当时，可以收敛于任何复杂形式的当n=1时，即是窗函数的形式当n较小时，对的大小较为敏感，过小则产生噪声性误差，过大则又产生平均性误差29模式识别，第五章Parzen窗口法所需样本数较多，计算量大，不易求得的解析表达式当特征空间的维数较大时，实用性差30模式识别，第五章Parzen窗口法如何用Parzen窗口法进行分类器设计？获取n个学习样本令或令

7、31模式识别，第五章Parzen窗口法当待识别样本到来时，分别计算每一类样本的，即计算对每一类样本重复上述过程，得各类的类概率密度将样本归类到最大的类别中去32模式识别，第五章Kn近邻法Parzen窗口法的估计效果取决于样本总数n及，当n较小时，对较为敏感，即：33模式识别，第五章Kn近邻法其原因是由于只与总样本数有关，即进行概率密度估计时，任何x点处的都是相同的一种合理的选择是对样本出现密度大的x处，可较小，而对样本密度较小的x处，则相对大一些，这就是近邻法。34模式识别，第五章Kn近邻法35模式识别，第

8、五章Kn近邻法基本原理主动选择与n的关系，被动确定，即使得体积为样本密度的函数，而不是样本总数的函数。可选择，该条件可满足：36模式识别，第五章Kn近邻法Kn近邻法，有效地解决了Parzen存在的问题，对平均误差和噪声性误差均有较好的改善选择后，如何计算？37模式识别，第五章Kn近邻法为与x点相邻的个近邻样本中，与x距离最远的样本所构成的区域，即38模式识别，第五章Kn近邻法39模式识别，第五章Kn近邻法用Kn近