03 最大可能性估计

03 最大可能性估计

ID:40231937

大小:131.00 KB

页数:14页

时间:2019-07-27

03 最大可能性估计_第1页
03 最大可能性估计_第2页
03 最大可能性估计_第3页
03 最大可能性估计_第4页
03 最大可能性估计_第5页
资源描述:

《03 最大可能性估计》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库

1、模式识别——最大可能性估计mqy_mail@163.com上节课内容假定知道了先验概率p(ωi)和类条件概率密度p(x

2、ωi)。这节课介绍的内容是:在知道类条件概率密度服从某种分布的前提下,估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下,估算正态分布的参数μ和Σ。一基本原理设:有c个类别。每一个类别有一些属于这个类别的训练样例:D1,…,Dc。第j个类别的参数向量(比如均值,方差)表示为θj。一个类别的参数向量只与属于这个类别的训练样例有关,而与其它类别的训练样例无关。问题:怎么使用每个类别的训练样例Di来估算这个类别的参数向量θi。下面分别使用每个训练样例Di来估算这个

3、类别的参数向量θi。每个类别的参数向量的求解方式都是一样的。下面就忽略i。设样例集合D里面有n个训练样例,x1,…,xn。设这些样例抽取的时候是独立的,那么这么多样例一起出现的概率可以写成:因为目前这个类别的参数向量θ还没有确定,所以在参数向量是θ的情况下,这些样例一起出现的概率是:使得p(D

4、θ)取最大值的θ值就是最合理的θ值。这就转换成了一个求极值的问题。求p(D

5、θ)的极值点,等价于求它的自然对数lnp(D

6、θ)的极值点,等价于对lnp(D

7、θ)的梯度等于0的点:gradθ[f(θ)],相当于使用θ的每个分量对f(θ)求偏导,然后组合成一个向量。二求正态分布的参数μ假定知道当前类别

8、中的样例服从正态分布,但是不知道正态分布的参数μ。单变量正态分布的概率密度函数:多变量正态分布的概率密度函数:前面求最合理的θ值的公式:p(xk

9、θ)就是正态分布的概率密度函数。因此进行公式带入:三求正态分布的参数μ和Σ假定知道当前类别中的样例服从正态分布,但是不知道正态分布的参数μ和Σ。单变量正态分布此时θ=(μ,σ2)多变量正态分布此时θ=(μ,Σ)四偏差上面使用n个(有限个)样本估算出来的方差经常会有偏差,总是发现估算的值小了:因此使用n个(有限个)样本估算方差的时候:

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。