3 概率密度函数的估计

《3 概率密度函数的估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章概率密度函数的估计3.1引言3.2最大似然估计3.3Bayes估计与Bayes学习3.4总体分布的非参数估计3.1引言进行贝叶斯决策的前提条件已知相关的概率分布先验概率可以较容易地进行估计重点是估计类条件概率密度两步贝叶斯决策利用样本估计先验概率和类条件概率依据估计量进行分类决策估计量的性能先验概率类条件概率（密度）概率分布估计方法的分类依据参数与非参数估计概率密度函数的形式是否已知监督与非监督估计是否明确样本所属类别综合两种不同的分类角度概率密度函数估计的基本类型监督参数估计——样本所属的类别及类条件总体概率密度函

2、数的形式为已知，而表征概率密度函数的某些参数是未知的非监督参数估计——已知总体概率密度函数的形式但未知样本所属类别，要求推断出概率密度函数的某些参数非参数估计——已知样本所属类别，但未知总体概率密度函数的形式，要求我们直接推断概率密度函数本身参数估计的几个基本概念统计量参数空间点估计、估计量和估计值estimatorestimationvalue区间估计3.2最大似然估计先做几项基本假设：估计的参数是确定（非随机）而未知的量样本集按类别分开，假定有c类，则可分成c个样本集，其中中的样本都是从概率密度为的总体中独立地抽取出来

3、的类条件概率密度函数具有某种确定的函数形式；为表示同有关，记为假定中的样本不包含关于的任何信息，也就是说不同类别的参数在函数上是独立的，即中的样本只对提供有关的信息设定这些假设的目的分别处理C个独立的问题独立地按照概率密度抽取样本集，并用之去估计未知参数设：ωi类的类概率密度函数具有某种确定的函数形式；θ是该函数的一个未知参数或参数集。最大似然估计把θ当作确定的未知量进行估计。从ωi类中独立地抽取N个样本：似然函数称这N个样本的联合概率密度函数为相对于样本集X的θ的似然函数。——在参数θ下观测到的样本集X的概率(联合分布)

4、密度最大似然估计根据已经抽取的N个样本估计这组样本“最可能”来自哪个密度函数。（“最似”哪个密度函数）也即：要找到一个θ，它能使似然函数最大化由求得。θ为一维时的最大似然估计示意图θ的最大似然估计量就是使似然函数达到最大的估计量。可能有多个极值为便于分析，定义似然函数的对数为θ的最大似然估计是下面微分方程的解：设ωi类的概率密度函数有s个未知参数，记为s维向量此时解以上方程组即可得到θ的最大似然估计量。正态分布情况举例设ωi类：正态分布、一维模式、概率密度函数为待估计参数为μ，σ2。因此，，，。若X表示从ωi中独立抽取的N

5、个样本，则θ的似然函数为其中，得由以上方程组解得均值和方差的估计量为类似地，多维正态分布情况：均值向量的最大似然估计是样本的均值；最大似然估计结果：协方差矩阵的最大似然估计是N个矩阵的算术平均。估计性能如何？3.3Bayes估计和Bayes学习回顾一下前面讲述的最小风险Bayes决策——观察或测量到的d维模式特征向量——状态空间——决策空间——损失函数，表示真实状态为而所采取的决策为时所带来的某种损失给定，我们采取决策情况下的条件期望损失：是特征空间中取任意值的随机变量，条件风险的期望表示采取决策总的平均损失。称为Baye

6、s风险，使最小的决策称为最小风险Bayes决策。Bayes决策确定的真实状态（模式类）Bayes估计根据一个样本集，找出估计量，估计所属总体分布的某个真实参数使带来的Bayes风险最小Bayes决策问题Bayes估计问题样本样本集决策估计量真实状态真实参数状态空间是离散空间参数空间是连续空间先验概率参数的先验分布令为代替所造成的损失，对于一个观测样本集合，当用作为的估计时，在观测条件下的条件期望损失为考虑到的各种取值，求在参数空间中的期望对应决策条件风险Bayes估计的基本思想：所求得的的估计量应使估计损失的期望最小，这种

7、使或等价地使取最小值的的估计量称为的Bayes估计。对于不同的，可得到不同的最佳Bayes估计。这里假定损失函数为平方误差形式，即求最小由于是关于的二次函数，确使或最小。上式表明，的最小方差Bayes估计是在观测条件下的的条件期望。在许多情况下，最小方差Bayes估计是最理想的Bayes最优估计器。对平方误差损失函数情况求解Bayes估计量的步骤如下：（1）确定的先验分布（2）由样本集求出样本联合分布（3）求的后验分布（4）贝叶斯估计的步骤总结贝叶斯学习迭代计算式的推导：式中除样本xN以外其余样本的集合（3-32）将其代入

8、（3-32）式得由相应地有参数估计的递推贝叶斯方法，迭代过程即是贝叶斯学习的过程迭代式的使用：*给出x2，对用x1估计的结果进行修改。例正态分布密度函数的贝叶斯估计和贝叶斯学习1）贝叶斯估计*逐次给出x3，x4，…，xN，得到式中，有由于有式中，——与最大似然估计形式类似式中，同前2）贝叶斯学习图3.2