概率密度函数的估计.ppt

《概率密度函数的估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、陈书燊第二次学习总结模式识别概率密度函数的估计在上一章贝叶斯决策理论中，已经讲述了设计贝叶斯分类器的方法，即在先验概率P(wj)和类条件概率密度p(x

2、ωi)已知的情况下，按一定的决策规则确定判别函数和决策面。但在实际问题中，类条件概率密度常常是未知的。利用样本集设计分类器：第一步，利用样本集估计P(wj)和p(x

3、ωi)，分别记为P(wj)和p(x

4、ωi)。第二步，再将估计量带入上一章所讲贝叶斯决策规则中，完成分类器设计。这一过程称为基于样本的两步贝叶斯决策。1^^概率密度函数的估计监督参数估计非监督参数估计非参数估计2参数估计：概率密

5、度函数的形式已知，而表征函数的参数未知，通过训练数据来估计。最大似然估计Bayes估计非参数估计：总体概率密度函数的形式未知，样本所属类别已知，利用训练数据直接对概率密度进行推断。Parzen窗法kn-近邻法3最大似然估计样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练（独立）。类条件概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x

6、ωi)与参数θ的依赖关系，用p(x

7、ωi,θ)表示。估计的参数θ是确定（非随机）而未知的量。1最大似然估计1似然函数：对数似然函数：1最大似然估计量使似然函数梯度为0：一元正态

8、分布11解得：1μ^^σ²多元正态分布参数最大似然估计1均值向量形式同一元正太分布协方差矩阵的最大似然估计为：贝叶斯决策与贝叶斯估计对比1决策问题:样本x决策ai真实状态wj状态空间A是离散空间先验概率P(wj)参数估计问题：样本集K估计量s真实参数s参数空间S是连续空间参数的先验分布p(s)^贝叶斯（最小风险）估计1参数估计的条件风险：给定x条件下，估计量的期望损失参数估计的风险：估计量的条件风险的期望贝叶斯估计步骤1确定θ的先验分布p(θ)由样本集K={x1,x2,…,xN}求出样本联合分布利用贝叶斯公式，求出θ的后验分布p(θ

9、

10、K)求出贝叶斯估计量（损失函数为二次函数）：θ^非参数估计1参数估计方法要求已知总体的分布形式，然而很多实际问题并不知道总体分布形式，或总体分布不是一些通常遇到的典型分布，不能写成某些参数的函数。在这些情况下，为了设计贝叶斯分类器，仍然需要总体分布的知识，于是提出了某些直接用样本来估计总体分布的方法，称之为估计分布的非参数法。两种主要非参数估计方法：Parzen窗法kN-近邻法1估计的目的：从样本集K={x1,x2,…,xN}估计样本空间中任何一点的概率密度p(x)基本方法：用某种函数表示某一样本对待估计的密度函数的贡献，所有样本所作贡献

11、的线性组合视作对某点概率密度p(x)的估计基本方法1基本思想Parzen窗法1样本集KN={x1,x2,…,xN}区域RN是一个d维超立方体，棱长hN，体积VN=hNd定义窗函数：1／2，j=1,2,3…其他超立方体内样本数：某点概率密度p(x)的估计：窗函数的选择1窗函数需满足两个条件：几种常用的窗函数：方窗函数正态窗函数指数窗函数kN-近邻法1均匀窗函数Parzen估计，窗宽固定，不同位置落在窗内的样本点的数目是变化的。kN-近邻估计：把窗扩大到刚好覆盖kN个点，落在窗内的样本点的数目固定，窗宽是变化的。提高了分辨率。概率密度估计表达

12、式：点x处窗的“体积”是VN：关于分类器错误率的估计问题在上一章中讨论了错误率的计算问题，并指出实际计算中的困难，只有在某些特定的情况下才能得到较为满意的结果，因此在处理实际问题时，更多的依赖于实验，即利用样本来估计错误率，这可以分为两种情况：（1）对于已设计好的分类器，利用样本来估计错误率。这种只用来估计分类器错误率的样本集称为检验集或考试集。（2）对于未设计好的分类器，需将样本分成两个部分，即分为设计集和检验集，分别用以设计分类器和估计错误率，用来设计分类器的样本集称为设计集。1估计量的评价标准估计量的评价标准：无偏性，有效性，一致性

13、无偏性：E(θ)=θ有效性：D(θ)小，更有效一致性：样本数趋于无穷时，依概率趋于θ：1^^本章小结应用统计决策理论设计分类器，当概率密度函数未知时，首先要对它进行估计，这就将模式识别问题转化为概率密度函数估计问题，如果这个估计问题可以很好的解决，则模式识别相应得到解决。在实际应用中，当样本数比较有限时，并不能保证估计出的概率密度函数能很好的反应真实情况，因此也不能对在此基础上设计的分类器的性能有充分的信心。可见应用统计决策理论设计最优分类器的前提应该是，对先验概率和类概率密度函数有充分的先验知识，或者有足够多的样本，可以较好地进行概率密

14、度估计。1