03 最大可能性估计

《03 最大可能性估计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别——最大可能性估计mqy_mail@163.com上节课内容假定知道了先验概率p(ωi)和类条件概率密度p(x

2、ωi)。这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数μ和Σ。一基本原理设：有c个类别。每一个类别有一些属于这个类别的训练样例：D1,…,Dc。第j个类别的参数向量(比如均值，方差)表示为θj。一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。问题：怎么使用每个类别的训练样例Di来估算这个类别的参数向量θi。下面分别使用每个训练样例Di来估算这个

3、类别的参数向量θi。每个类别的参数向量的求解方式都是一样的。下面就忽略i。设样例集合D里面有n个训练样例，x1,…,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：因为目前这个类别的参数向量θ还没有确定，所以在参数向量是θ的情况下，这些样例一起出现的概率是：使得p(D

4、θ)取最大值的θ值就是最合理的θ值。这就转换成了一个求极值的问题。求p(D

5、θ)的极值点，等价于求它的自然对数lnp(D

6、θ)的极值点，等价于对lnp(D

7、θ)的梯度等于0的点：gradθ[f(θ)]，相当于使用θ的每个分量对f(θ)求偏导，然后组合成一个向量。二求正态分布的参数μ假定知道当前类别

8、中的样例服从正态分布，但是不知道正态分布的参数μ。单变量正态分布的概率密度函数：多变量正态分布的概率密度函数：前面求最合理的θ值的公式：p(xk

9、θ)就是正态分布的概率密度函数。因此进行公式带入：三求正态分布的参数μ和Σ假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数μ和Σ。单变量正态分布此时θ=(μ,σ2)多变量正态分布此时θ=(μ,Σ)四偏差上面使用n个(有限个)样本估算出来的方差经常会有偏差，总是发现估算的值小了：因此使用n个(有限个)样本估算方差的时候：