最大似然估计和贝叶斯估计的相关知识.doc

《最大似然估计和贝叶斯估计的相关知识.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最大似然估计将参数看作是确定的量，只是其值是未知!通过最大化所观察的样本概率得到最优的参数——用分析方法。贝叶斯方法把参数当成服从某种先验概率分布的随机变量，对样本进行观测的过程，就是把先验概率密度转化成为后验概率密度，使得对于每个新样本，后验概率密度函数在待估参数的真实值附近形成最大尖峰。最大似然估计的优点：1）当样本数目增加时，收敛性质会更好；2）比其他可选择的技术更加简单。基本原理：假设有c类样本，并且：1）每个样本集的样本都是独立同分布的随机变量；2）形式已知但参数未知，例如3）使用训练样本提供的信息估计只和每一类相关。假定D包括n个样本,x1,

2、x2,…,xn：q的最大似然估计是通过定义最大化P(D

3、)的值：注意：对于似然函数P(D

4、)和条件概率密度函数P(x

5、)的区别：似然函数P(D

6、)是关于的函数，而条件概率密度函数P(x

7、)却是一个以为参数而关于变量x的函数。而且作为一个关于的函数，P(D

8、)并不表示概率密度，其曲线下的面积没有实际意义。最优估计：令并令为梯度算子(thegradientoperator)我们定义l()为对数似然函数：l()=lnP(D

9、)显然其依赖样本集D：最优求解条件如下:令：来求解求得以后，则可以根据求，再求；3.3贝叶斯估计区别于最大似然估计：1）在最大似然估计中被

10、假定为固定值2）在贝叶斯估计中是随机变量3.3.1类条件密度目标:计算假设样本为D，贝叶斯方程可以写成：先验概率通常可以事先获得，因此每个样本只依赖于所属的类，有：即：只要在每类中，独立计算就可确定x类别。