《概率密度估计》PPT课件.ppt

《《概率密度估计》PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四讲：概率密度函数的估计（一）顾明亮2011年3月内容提要引言参数估计的方法高斯分布参数估计混合高斯分布参数估计一、引言问题形式的变化本章学习的主要内容参数估计的基本方法问题一已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）测量值的类条件概率；（4）样本特征矢量。求：给定样本特征矢量所属的类别求解方法（1）求解方法（2）问题二已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）类条件概率的分布形式及参数值；（如：正态分布及均值和协方差）（4）样本特征矢量。求：给定样本特征矢量所属的类别求解方法问题三—本讲拟解决的问题已知：（1）

2、样本总的类别数；（2）若干训练样本特征矢量及其对应的类别（）（3）样本所服从的统计分布函数但参数未知（如：正态分布，但均值与协方差矩阵未知）（4）测试样本特征矢量：求：给定样本特征矢量所属的类别本章学习内容参数估计的分类监督参数估计（已知样本的特征矢量及类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后决策。）非监督参数估计（已知样本的特征矢量没有告诉样本的类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后进行决策。）非参数估计（不去估计概率，直接根据已有训练样本提供的类别信息进行分类决策）二、未知概率密度函数估计参数估计的概念参数估

3、计的方法最大似然参数估计(MaximumLikelihoodParameterEstimation)最大后验概率估计(MaximumAPosterioriProbabilityEstimation)贝叶斯推理(BayesianInference)最大熵估计(MaximumEntropyEstimation)2.1基本概念（1）统计量：样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，即针对不同要求构造出样本的某种函数，这种函数在统计学上叫做统计量。参数空间：在参数估计中，总是假定总体概率密度函数的形式已知，但分布中的参数未知，这些未知参数全部

4、可容许的取值集合叫做参数空间。2.1基本概念（2）点估计、估计量和估计值：2.1基本概念（3）两点假设2.2最大似然估计举例：正态分布函数的参数估计结论讨论ML估计是渐近无偏估计（asymptoticallyunbiased)ML估计也是渐近一致估计(asymptoticallyconsistent)ML估计是渐近有效的。满足Cramer-Rao准则ML估计当N趋近无穷大时，接近Gaussian分布。2.3最大后验概率估计与ML的区别举例说明方差很大，说明高斯分布很宽，在某个范围内可近似为水平直线，即趋于均匀分布。所以MAP估计和ML估计两者近似相等。2

5、.4贝叶斯推理前提变化：原来假定估计量是确定的但未知。现在假定估计量是随机变量且未知。讨论三高斯分布参数估计的改进问题的提出解决办法（1）解决办法（2）正则化判别分析Fredman(1989)提出。改进后的判别函数讨论方法简评当协方差矩阵不是近似相等或样本规模太小，以至于二次判别函数不可行时，正则化判别方法对改进分类性能很有帮助。另有学者对非正态类型的线性和二次判别规则鲁棒性进行了研究。四高斯混合模型面临的问题前面我们只讨论样本特征矢量服从正态分布时我们如何进行判别决策。如果样本特征矢量不服从正态分布，我们怎么处理呢？数学表示方式数学问题解决方法EM算法

6、原理EM算法原理EM算法实现EM算法实现（续）EM算法实现（续）