模式识别(V3第3章密度估计)ppt课件.ppt

《模式识别(V3第3章密度估计)ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章概率密度函数的估计3.1引言3.2最大似然估计3.3Bayes估计与Bayes学习3.4概率密度估计的非参数方法3.5讨论2021/7/283.4概率密度估计的非参数方法参数估计方法：要求已知分布的具体形式实际情况可能是：不知道分布的形式或者不是典型的分布形式估计分布的非参数方法：直接从样本估计总体分布的方法2021/7/283.4.1非参数估计的基本原理与直方图方法3.4.2Parzen窗法3.4.3kN近邻法2021/7/283.4.1非参数估计的基本原理与直方图方法直方图是最简单的非参数估计方法，在图

2、像处理中得到广泛应用。一维直方图的构造步骤：将取值范围分成等间隔的k个区间计数落入每一个区间的样本个数画出柱状图2021/7/28设p(x)是x的总体概率密度函数xp(x)R随机变量x落入区域R的概率:2021/7/28设从密度为p(x)的总体中独立地抽取N个样本则，其中有k个样本落入区域R的概率Pk满足随机变量的二项分布2021/7/28k的期望：k的众数：取整当k=m时，Pk取最大值：意义：在抽取的N个样本中，其中k=m个样本落入区域R的概率最大2021/7/28有则意义：k/N是P的一个好的估计xp(x)R

3、k2021/7/28我们的目标是估计概率密度函数p(x)本身假设p(x)是连续函数，并且取区域R足够小，这样可以认为p(x)在区域R上保持不变，则其中，V是区域R的体积，x是R中的某一个点概率xp(x)R2021/7/28点x的概率密度p(x)的估计值它依赖于：样本数目N包含x的区域R的体积V落入区域R的样本数kxp(x)R2021/7/28分析公式的性质情形1：体积V固定。理论上，N越来越多，则比值k/N按概率意义收敛于概率。实际上，只能得到p(x)的空间平均估计：2021/7/28情形2：样本数固定。体积V趋

4、近于零，随着区域R的不断缩小，一种可能性是出现不包含任何样本，从而使p(x)=0；另一种可能性是包含几个样本，但是p(x)=∞非常不光滑2021/7/28情形3：(实际情况），样本数是有限的，体积不可能足够小。此时，k/N和p(x)存在随机性，即它们有一定的方差2021/7/28假设可以使用无限多样本，从理论上分析公式的性质估计的方法：为了估计点x的概率密度，构造一列包含x的区域序列R1,R2,…,RN,….其中，对于R1用一个样本来估计，R2用两个样本来估计，依次类推2021/7/28记：VN：RN的体积kN：

5、落入区域RN的样本数p^N(x)：p(x)的第N次估计则如果它要收敛于p(x)，则需要满足三个条件2021/7/28需满足的三个条件：(1)含义：如果区域平滑地缩小，p(x)在点x连续，这一条件使空间平均P/V收敛于概率p(x)2021/7/28(2)含义：对于p(x)≠0的点有意义，可以使频度kN/N在概率意义上收敛于概率P2021/7/28(3)尽管在一个小区域RN内落入了大量样本，但是与总样本数相比仍然非常少2021/7/28现在，有两种方法，可以选取满足上述三个条件的区域序列，从而导出两种非参数估计方法：

6、选定Parzen窗法：体积不变，落入其中的样本数可变选定kN近邻估计：体积可变，落入其中的样本数不变2021/7/28Parzen窗法：使区域序列VN以N的某个函数的关系不断缩小，但是需要对kN和kN/N施加一定的条件使得估计的pN(x)收敛于p(x)kN近邻估计：使kN为N的某个函数，VN定义为刚好包含x的kN个近邻样本的区域RN的体积2021/7/283.4.2Parzen窗法1Parzen窗估计的基本概念2估计量p^N(x)为概率密度的条件3窗函数的选择4窗宽对估计量的影响5估计量的性质2021/7/281

7、Parzen窗估计的概念估计概率密度的基本公式设区域VN是以hN为棱长的d维超立方体，则立方体的体积为2021/7/28定义一个窗函数：1-0.50.52021/7/28求出落入超立方体内的样本个数？立方体：以x为中心、体积为VN的立方体x如果某一个样本xi落入该立方体，则xixi否则hN2021/7/28落入该立方体的样本数为点x的概率密度Parzen窗法估计的基本公式2021/7/28说明：1可以取其他形式的窗函数2窗函数的作用是内插，每一个样本对估计的贡献依赖于它到x的距离3这种估计可以看成x与xi的函数的

8、平均2021/7/28核函数核密度估计Kerneldensityestimation2021/7/282估计量是密度函数的条件概率密度函数应该满足的条件：这一估计量是概率密度吗？2021/7/28只要窗函数满足下列条件意义：核函数本身具有概率密度函数的形式就是概率密度函数2021/7/28证明：满足条件(1)因为则2021/7/28满足条件(2)2021/7/283核函数