密度函数估计.ppt

《密度函数估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、概率密度函数估计模式识别皇甫浩然第三章概率密度函数的估计贝叶斯估计的基础就是概率密度函数估计当样本数N趋于无穷大时，希望类条件概率密度和先验概率尽可能的精确概率密度函数的估计方法参数估计和非参数估计主要区别就是概率密度函数是否已知3.1引言参数估计的主要方法最大似然估计和贝叶斯估计在数理统计中，用来判断估计好坏的常用标志是无偏性，有效性和一致性。非参数估计主要方法近邻估计法和Parzen窗法3.2最大似然估计概率密度函数的形式已知，参数是确定但未知的量样本集的每一个样本都是从密度函数为的总体中独立抽取出来的，即满足独立同分布的条件。各类样本只包含本类的

2、分布信息3.2.1似然函数样本集包含N个样本，独立的从概率密度为中获得样本集的概率密度为，即样本集的联合概率密度为上式反映的是在不同参数取值下，取得当前样本集的可能性，因此称作参数相对于样本集的似然函数。最大似然估计量对数似然函数3.2.2似然函数的求解只有一个待估参数当未知参数是是由多个未知参数组成的向量时，需要对的每一维分别求偏导，即用下面的梯度算子来对似然函数或对数似然函数求梯度并令其等于零。注意3.3贝叶斯估计与贝叶斯学习3.3.1贝叶斯估计贝叶斯估计对未知参数的处理方式是把参数本身也看作具有先验分布密度的随机变量，然后根据样本集估计出最优的参

3、数。对于连续变量，定义取估计量为所带来的损失为，称为损失函数。在样本X下的条件风险总的期望风险当定义损失函数为时，则在样本X下，贝叶斯估计量是在给定下的条件期望。综上所述，在最小平方误差损失函数下，贝叶斯估计步骤：根据对问题的认识确定的先验分布密度样本集的联合分布利用贝叶斯公式求参数的后验分布密度参数的贝叶斯估计量为3.3.2贝叶斯学习样本的概率密度函数为参数的后验分布密度由于可得如下递推公式由递推公式可知，随着样本数目的增加，可以得到一系列对概率密度函数参数的估计随着样本数目的增加后验分布密度逐渐形成以的真实值为中心的一个尖峰。当样本无穷时收敛于参数

4、真实值上的脉冲函数，这一过程称作贝叶斯学习。3.4概率密度估计的非参数方法基本原理某个随机向量落入某个小区域R的概率在样本集为N，实际落入小区域有k个样本时的一个很好的估计是当连续、且小区域R的体积V足够小时则随机向量落入这个区域的概率为此时其估计量变为当样本无穷多时，收敛于的条件是近邻估计法密度函数的估计为：Parzen窗法小舱体积V定义d维单位方窗函数则落入以x为中心的超立方体内的样本数就可以写成由此可推出任意一点x的密度函数估计表达式为定义核函数(窗函数)则任一点的函数密度估计写为基本要求谢谢观看