模式识别课件第三章概率密度估计打印.ppt

《模式识别课件第三章概率密度估计打印.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章概率密度估计3.0引言3.1参数估计3.2非参数估计3.3说明3.0引言进行Bayes决策需要事先知道两种知识：各类的先验概率；观测向量的类条件概率密度。知识的获取（估计）：一些训练数据；对问题的一般性的认识。3.0引言3.0引言类的先验概率的估计(较容易)：依靠经验；用训练数据中各类出现的频率估计。用频率估计概率的优点：无偏性；相合性；收敛速度快。类条件概率密度的估计(非常难)：概率密度函数包含了一个随机变量的全部信息概率密度函数可以是满足下面条件的任何函数p(x)≥03.0引言概率密度估计的两种主要思路：参数估计：根据对问题的

2、一般性的认识，假设随机变量服从某种分布，分布函数的参数通过训练数据来估计。非参数估计：不用模型，而只利用训练数据本身对概率密度做估计。3.0引言“Curseofdimensionality”:Weneedlotsoftrainingdatatodeterminethecompletelyunknownstatisticsformulti-Dproblems.Aruleofthumb:“useatleast10timesasmanytrainingsamplesperclassasthenumberoffeatures(i.e.D)”He

3、nce,withsomeaprioriinformation,itispossibletoestimatetheparametersoftheknowndistributionbyusinglessnumberofSamples3.1参数估计3.1参数估计最大似然估计把参数看作是确定而未知的。最好的估计值是在获得实际观察样本的概率为最大的条件下得到的。贝叶斯估计把未知的参数当作具有某种分布的随机变量，样本的观察结果使先验分布转化为后验分布，再根据后验分布修正原先对参数的估计。3.1参数估计最大似然估计(MaximumLikelihood

4、)，需做以下假设：⒈参数是确定(非随机)而未知的量。⒉按类别把样本集分开，假定有c个类，则可分成c个样本集X1，X2，…，Xc，其中Xj中的样本都是从概率密度为p(x

5、ωj)的总体中独立抽取出来的。3.1参数估计⒊类条件概率密度p(x

6、ωj)具有某种确定的函数形式，但其参数向量θj未知。⒋假定Xi中的样本不包含关于θj(j≠i)的信息。也就是说不同类别的参数在函数上是独立的。这样就可以分别对每一类进行处理。也就是说Xi中的样本只对θi提供有关信息，而没有关于θj(j≠i)的任何信息。3.1参数估计在假设前提下，可以分别处理c个独立的问题

7、。独立地按照概率密度抽取样本集X，用X去估计出未知参数。已知某一类样本集X包含有N个样本，即X={x1，x2，…，xN}3.1参数估计由于假设样本是独立抽取的，所以相对于样本集X的θ的似然函数。3.1参数估计似然函数：对数似然函数：等价参数求解：梯度为0。3.1参数估计最大似然估计就是上式的解。最大似然估计示意图3.1参数估计FindvalueofunknownparametermaximizesFordifferentΘ,theobservedsamplesgivesdifferentp(X

8、Θ)valuesforp(xk

9、Θ)den

10、sitiesTheargumentforthemaximumofsuchproductsisMLestimatelogp(X

11、Θ)willnotdiffertheargumentofthismaxima单变量正态分布3.1参数估计正态分布假设下的极大似然参数估计：其中和为未知参数。由单变量正态分布知3.1参数估计正态分布假设下的极大似然参数估计：3.1参数估计以和代入上式，解上述方程组，得多元正态分布似然函数：3.1参数估计设x1,x2,…,xn是从p(x

12、μ,Σ)选取的特征向量，其联合分布为多元正态分布均值μ估计：均值的最大似然估计与

13、Σ无关！3.1参数估计多元正态分布协方差矩阵Σ的估计：3.1参数估计令A=Σ-1正态分布假设下的极大似然参数估计：多元正态分布协方差矩阵Σ的估计：协方差矩阵的极大似然估计与μML有关！ˆ3.1参数估计正态分布假设下的极大似然参数估计：多元正态分布协方差矩阵的极大似然估计是有偏估计：无偏估计：3.1参数估计Bayes估计：最大后验概率估计（maximumaposteriori）设有一个样本X(而不是x)，要求找出估计量(而不是选出最佳决策)，用来估计X所属总体的分布的某个真实参数(而不是真实状态ωk)使带来的贝叶斯风险最小，就是贝叶斯估计

14、。3.1参数估计Bayes估计：贝叶斯决策和贝叶斯估计两者都立足于使贝叶斯风险最小，只是要解决的问题不同：一是要决策x的真实状态，而另一个则是估计X所属总体分布的参数。二者的各变量之间存在一一对应的关系3.