《概率密度估计》PPT课件

《《概率密度估计》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章概率密度函数的估计3.1引言贝叶斯决策：怎么办？实际问题：已知一定数目的样本，对未知样本分类（设计分类器）已知，对未知样本分类（设计分类器）首先根据样本估计然后用估计的概率密度设计贝叶斯分类器。——（基于样本的）两步贝叶斯决策一种很自然的想法：希望：当样本数N→∞时，如此得到的分类器收敛于理论上的最优解。重要前提：训练样本的分布能代表样本的真实分布，所谓i.i.d条件有充分的训练样本本章研究内容：①如何利用样本集估计概率密度函数？②估计量的性质如何？③如何根据样本集估计错误率？估计概率密度的两种基本方法

2、：?参数方法(parametricmethods)?非参数方法(nonparametricmethods)§3.2参数估计的基本概念和方法(part1)参数估计(parametricestimation)：?已知概率密度函数的形式，只是其中几个参数未知，目标是根据样本估计这些参数的值。几个名词：统计量(statistics)：样本的某种函数，用来作为对某参数的估计参数空间(parametricspace)：待估计参数的取值空间θ∈Θ估计量(estimation)：3.2.1最大似然估计(MaximumLike

3、lihoodEstimation)假设条件：①参数θ是确定的未知量，（不是随机量）②各类样本集中的样本都是从密度为的总体中独立抽取出来的，（独立同分布，i.i.d.）③具有某种确定的函数形式，只其参数θ未知④各类样本只包含本类分布的信息其中，参数θ通常是向量，比如一维正态分布,未知参数可能是鉴于上述假设，我们可以只考虑一类样本，记已知样本为似然函数（likelihoodfunction）——在参数θ下观测到样本集X的概率（联合分布）密度基本思想：如果在参数最大，则应是“最可能”的参数值，它是样本集的函数，记作

4、称作最大似然估计量。为了便于分析，还可以定义对数似然函数上述假设2：样本是独立抽取的求解：若似然函数满足连续可微的条件，则最大似然估计量就是方程的解（必要条件）。若未知参数不止一个，即，记梯度算子则最大似然估计量的必要条件由S个方程组成：讨论：如果连续可导，存在最大值，且上述必要条件方程组有唯一解，则其解就是最大似然估计量。（比如多元正态分布）。如果必要条件有多解，则需从中求似然函数最大者若不满足连续可导，则无一般性方法，用其它方法求最大（见课本均匀分布例）最大似然估计示例以单变量正态分布为例样本集似然函数对

5、数似然函数最大似然估计量满足方程而得方程组解得可见，样本的选择是多么重要§3.2参数估计的基本概念和方法(part2)3.2.2贝叶斯估计和贝叶斯学习（一）贝叶斯估计思路与贝叶斯决策类似，只是离散的决策状态变成了连续的估计。思考题：请课后与贝叶斯决策比较基本思想：把待估计参数θ看作具有先验分布p(θ)的随机变量，其取值与样本集X有关，根据样本集估计θ。损失函数：把θ估计为所造成的损失，记为期望风险：条件风险：最小化期望风险⇒最小化条件风险（对所有可能的x）有限样本集下，最小化经验风险：贝叶斯估计量：（在样本集

6、X下）使条件风险（经验风险）最小的估计量。离散情况：损失函数表（决策表）连续情况：损失函数常用的损失函数：（平方误差损失函数）定理3.1如果采用平方误差损失函数，则θ的贝叶斯估计量是在给定x时θ的条件期望，即同理可得到，在给定样本集X下，θ的贝叶斯估计是：自学证明过程求贝叶斯估计的方法：（平方误差损失下）（1）确定θ的先验分布p(θ)（2）求样本集的联合分布（3）求θ的后验概率分布（4）求θ的贝叶斯估计量同时还可求得（考虑到我们最终的目的是求p(x)）讨论：设θ的最大似然估计为，则在很可能有一尖峰，若此，则即

7、贝叶斯估计结果与最大似然估计结果近似相等。处在尖峰之外的区域可以忽略的话，则由上式（二）贝叶斯学习考虑学习样本个数N，记样本集N>1时有代入第3步，因此有递推后验概率公式：则随着样本数增多，可得后验概率密度函数序列：——参数估计的递推贝叶斯方法（RecursiveBayesIncrementalLearning）样本独立抽取如果此序列收敛于以真实参数值为中心的δ函数，则称样本分布具有贝叶斯学习（BayesianLearning）性质。此时由先验分布p(θ)和样本信息（似然函数）p(X

8、θ)求出θ的后验分布p(

9、θ

10、X)，然后直接求样本总体分布的做法称作贝叶斯学习。估计量的性质与评价标准——无偏性、有效性和一致性无偏性：渐近无偏性：有效性：对估计和，若方差则更有效一致性：无偏性和有效性：对于多次估计，估计量能以较小的方差平均地表示真实值。一致性：当样本数无穷多时，每一次估计都在概率意义上任意接近真实值。§3.3正态分布的监督参数估计以正态分布为例说明上节介绍的参数估计方法3.3.1最大似然估计示例3.3.2