参数估计与非参数估计2

《参数估计与非参数估计2》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章参数估计与非参数估计参数估计与监督学习参数估计理论非参数估计理论§5-1参数估计与监督学习贝叶斯分类器中只要知道先验概率，条件概率或后验概概率P(ωi),P(x/ωi),P(ωi/x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi),P(ωi/x)一．参数估计与非参数估计参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。二．监督学习与无监督学习监督学习：在已知类别样本指导下的学习

2、和训练，参数估计和非参数估计都属于监督学习。无监督学习：不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。§5-2参数估计理论一．最大似然估计假定：①待估参数θ是确定的未知量②按类别把样本分成M类X1，X2，X3，…XM其中第i类的样本共N个Xi=(X1,X2,…XN)T并且是独立从总体中抽取的③Xi中的样本不包含(i≠j)的信息，所以可以对每一类样本独立进行处理。④第i类的待估参数根据以上四条假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。1.一般原则：第i类样本的类条件概率密度：P(X

3、i/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原属于i类的学习样本为Xi=(X1,X2,…XN,)Ti=1,2,…M求θi的最大似然估计就是把P(Xi/θi)看成θi的函数，求出使它最大时的θi值。∵学习样本独立从总体样本集中抽取的∴N个学习样本出现概率的乘积取对数：对θi求导,并令它为0：有时上式是多解的,上图有5个解,只有一个解最大即.P(Xi/θi)2.多维正态分布情况①∑已知,μ未知,估计μ服从正态分布所以在正态分布时代入上式得所以这说明未知均值的最大似然估计正好是训练样本的算术平均。②∑，μ均未知A.一维情况：n=1对于每个学习样本只有一

4、个特征的简单情况：(n=1)由上式得即学习样本的算术平均样本方差讨论：1.正态总体均值的最大似然估计即为学习样本的算术平均2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。B．多维情况：n个特征（学生可以自行推出下式）估计值：结论：①μ的估计即为学习样本的算术平均②估计的协方差矩阵是矩阵的算术平均（nⅹn阵列，nⅹn个值）二.贝叶斯估计最大似然估计是把待估的参数看作固定的未知量，而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/θ)转化为后验概率P(θ/Xi)

5、，再求贝叶斯估计。估计步骤:①确定θ的先验分布P(θ),待估参数为随机变量。②用第i类样本xi=(x1,x2,….xN)T求出样本的联合概率密度分布P(xi

6、θ)，它是θ的函数。③利用贝叶斯公式,求θ的后验概率④下面以正态分布的均值估计为例说明贝叶斯估计的过程一维正态分布:已知σ2,估计μ假设概率密度服从正态分布P(X

7、μ)=N(μ,σ2),P(μ)=N(μ0,σ02)第i类学习样本xi=(x1,x2,….xN)T,i=1,2,…M第i类概率密度P(x

8、μi,xi)=P(x

9、xi)所以后验概率(贝叶斯公式)因为N个样本是独立抽取的，所以上式可以写成其中为

10、比例因子,只与x有关,与μ无关∵P(Xk

11、μ)=N(μ,σ2),P(u)=N(μ0,σ02)其中a’,a’’包含了所有与μ无关的因子∴P(μ

12、xi)是u的二次函数的指数函数∴P(μ

13、xi)仍然是一个正态函数,P(μ

14、Xi)=N(μN,σN2)另外后验概率可以直接写成正态形式：比较以上两个式子,对应的系数应该相等∴解以上两式得将μN,σN2代入P(μ

15、Xi)可以得到后验概率，再用公式∴对μ的估计为若令P(μ)=N(μ0,σ02)=N(0,1)与最大似然估计相似，只是分母不同∵三．贝叶斯学习1.贝叶斯学习的概念：求出μ的后验概率之后，直接去推导总体分布即当观

16、察一个样本时，N=1就会有一个μ的估计值的修正值当观察N=4时，对μ进行修正，向真正的μ靠近当观察N=9时，对μ进行修正，向真正的μ靠的更近当N↑,μN就反映了观察到N个样本后对μ的最好推测，而σN2反映了这种推测的不确定性,N↑,σN2↓,σN2随观察样本增加而单调减小，且当N→∞,σN2→0当N↑，P(μ

17、xi)越来越尖峰突起N→∞,P(μ

18、xi)→σ函数，这个过程成为贝叶斯学习。2．类概率密度的估计在求出u的后验概率P(μ

19、xi)后，可以直接利用式推断类条件概率密度。即P(x

20、xi)＝P(x

21、ωi，xi)⑴一维正态：已知σ2，μ未知∵μ的后验概率为

22、结论：①把第i类的先验概率P(ωi)与第i类概率密度P(x

23、xi)相乘可以得到第