概率密度函数的估计非参数估计

《概率密度函数的估计非参数估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别第3章概率密度函数的估计总体分布的非参数估计前面的方法密度函数的形式已知存在问题密度函数的形式常常未知一些函数形式很难拟合实际的概率密度经典的密度函数都是单峰的，而在许多实际情况中却是多峰的因此用非参数估计总体分布的非参数估计非参数估计处理问题直接用已知类别样本去估计总体密度分布p(x

2、ωi)需要计算p(x

3、ωi)的每个点的值方法①用样本直接去估计类概率密度p(x

4、ωi)以此来设计分类器,如窗口估计②用学习样本直接估计后验概率p(ωi

5、x)作为分类准则来设计分类器如k近邻法.^本章只考虑第一种方法总体分布的非参数估计概率密度函数估计的基本思想

6、一个随机变量x落在区域R的概率为Pp(x)是要求的x的概率密度概率P是p(x)在区域R上平滑或平均后得到的概率我们可以通过估计P来估计p(x)的平滑值PR总体分布的非参数估计估计概率P假设有N个样本X=(x1,x2,…xN)T都是独立同分布的，概率密度函数是p(x)。N个样本中有k个落入在R内的概率符合二项分布，即:其中P是样本x落入R内的概率Pk是k个样本落入R内的概率总体分布的非参数估计估计概率P则随机变量k的数学期望:E(k)=NPk可以直接从训练样本估计得到根据N个训练样本中落入区域R的样本数k,可得到概率P的一种估计，为:总体分布的非参数估

7、计估计概率p(x)设p(x)在R内连续变化当R逐渐减小的时候,小到使p(x)在其上几乎没有变化时，则:总体分布的非参数估计估计概率p(x)密度p(x)的估计:上式就是对x点概率密度p(x)的估计值(V足够小)真实概率是0.7横坐标是k/N纵坐标是概率分布总体分布的非参数估计p(x)估计值的收敛性讨论当V固定的时候N增加,k也增加,当时，则k/N在概率上收敛但我们只能得到p(x)的空间平均估计，即^而不是p(x)。必须让体积V趋于零。总体分布的非参数估计p(x)估计值的收敛性讨论N固定,体积V变小当时,如果k=0当时,如果k≠0所以如果样本有限，则估计

8、值一定有方差。总体分布的非参数估计p(x)估计值的收敛性讨论考虑无限多样本情况构造一串包括x的区域序列R1,R2,…RN.对R1采用1个样本进行估计，对R2采用2个样本进行估计，……VN是RN的体积，KN是N个样本落入VN的样本数则密度的第N次估计：总体分布的非参数估计p(x)估计值的收敛性讨论若pN(x)收敛于p(x)应满足三个条件：^总体分布的非参数估计两种非参数估计方法Parzen窗口估计使得序列VN以N的某个函数的关系不断缩小并对随机变量kN和kN/N加上必要的限制条件，确保估计值的收敛例如:kN近邻估计让kN为N的某个函数，而VN的选取是使

9、相应的RN正好包含x的kN个邻域例如:Parzen窗口估计使得序列VN以N的某个函数的关系不断缩小并对随机变量kN和kN/N加上必要的限制条件，确保估计值的收敛KN近邻估计让kN为N的某个函数，而VN的选取是使相应的RN正好包含x的kN个邻域Parzen窗口估计假设RN为一个d维的超立方体，hN为超立方体的长度∴超立方体体积为：定义窗函数Parzen窗口估计落入超立方体的样本数为:代入，得Parzen窗法的基本估计公式Parzen窗口估计保证估计量pN(x)为密度函数而对窗口函数的限制^Parzen窗口估计窗函数d=1，窗口为一线段d=2，窗口为一平

10、面d=3，窗口为一立方体d>3，窗口为一超立方体窗函数选择Parzen窗口估计窗函数宽度对幅度的影响窗函数越宽，幅度越小二维正态对称Parzen窗口Parzen窗口估计窗函数宽度对估计结果的影响二维正态对称Parzen窗口训练样本数为5窗函数宽度对分类器边界的影响窗函数宽度较窄，决策边界复杂窗函数宽度较宽，决策边界平滑Parzen窗口估计估计量pN(x)的性质希望达到^Parzen窗口估计估计量pN(x)的性质限制条件(1)pN(x)在x点连续(2)窗函数满足(3)窗宽受下列条件约束^Parzen窗口估计kN近邻估计窗函数法问题(对hN的选择问题)若

11、hN选太小，则大部分体积将是空的（即不包含样本），从而使PN(x)估计不稳定。若hN选太大，则PN(x)估计较平坦，反映不出总体分布的变化kN近邻法的思想体积是数据的函数，而不是样本数N的函数根据KN选择hNKN是N的函数kN近邻估计kN对估计结果的影响导数不连续kN近邻估计K=5