资源描述：
《统计模式识别b-参数估计-OK.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、HMM模型HMM的基本思想HMM的基本思想Markov链–Markov链–随机序列在任意时刻它所处的状态，且他在时–HMM的概念刻所处的状态为的概率，至于他在时刻的状态有关，而与时刻以前他所处的状态无关即有：HMM的基本算法–前向后向算法–Viterbi算法–Baum-Welch算法讲义：模式识别第三章：统计模式识别(二)概率密度函数的参数估计3.密度函数的估计引言Bayes分类参数估计方法–已知先验概率P()wi与类条件概率PX(
2、)wi，可–极大似然估计(未知参数为一确定值）以设计一个最优分类器。–贝叶斯估计（
3、未知参数为一随机变量）问题–实际情况中，PX(
4、)w的确切分布很难知道，这–贝叶斯学习（未知参数为一随机变量）i就需要根据已有样本作出参数估计。非参数估计–特定条件下，可以合理地假设PX(
5、)w是均值–Parzen窗估计i为mi，协方差矩阵为Si的正态分布，将问题缩–K-N近邻估计小为估计miSi的值。3密度函数的估计(1)最大似然估计a1参数估计的方法：一般原则：条件–有监督的参数估计最大似然估计–设已知样本集有样本类X12,,,XXLc，其中X类Bayes估计j–无监督的参数估计有样本X12,,,XXLn，是按
6、概率密度PX(
7、)wj从总–非参数估计体中独立地抽取的，但是其中某一参数m或参Parzen窗K-N近邻数矢量(,)ms不知道，记作参数qj。–假设1：参数qj唯一地是由PX(
8、)wj决定的，记基础知识：PAB()作PX(
9、,)wq，即认为此概率密度是由wq,作为PAB(
10、)=即PA()B=PABPB(
11、)()jjjj1.PB()条件的条件概率密度。2.–假设2：在X类的样本中不包含q的信息。可PA(B
12、C)=P(A
13、BCP)(
14、)BCjj以对每一类独立地进行处理。PX(
15、,)wqPX(
16、)qjjj1(1)最大似然估
17、计a2(1)最大似然估计a3似然函数：P(X
18、)q对数似然函数：logP(X
19、)q–同一类的样本子集X=X,,,XXLn，它们具有n12L(q)==logP(X
20、qq)ålogPX(
21、),概率密度P(X
22、q),kn=1,2,L，且样本是独立kkk=1抽取的，因此qqˆ=argmax()LP(X
23、)qnP(X
24、qq)=ÕPX(k
25、),ìü¶k=1计算：ïï¶qïï1LP(qq)=(X
26、)Ñ=LP¶(log(X
27、)q)ïïqÑ=íýM¶qqqqˆ=argmax()Lnïﶶïï下==åéùëûlogPX(k
28、q)0ï
29、ï¶q页k=1¶qîþpOqq最大似然估计a4最大似然估计a5问题：Ñ=qL0并不一定能够得到解。对数似然函数举例：x服从均匀分布，参数qq，未知12L(q)=logPN(X
30、q)=--ln(qq21)ì1qq<31、)q=ïíqq-12=×N函数越大，21¶-qqq121ï0otherwise¶L()q1估计参数为训î=-×N练样本中最小假设从总体中独立地抽取N个样本，则¶-q2qq21和最大的ì1ïNqˆ=x'qˆ=x''LP(qq)==(X
32、)í(qq21-)12ï0î(1)最大
33、似然估计b1(1)最大似然估计b2均值未知的d维正态情况进一步地T¶–设X中的某一样本X=(,,,)xxxL具有正ÑlogP(XXX
34、m)(=-mm)TS--1()kk12kkdmkkk态形式，参数m未知，¶m¶¶TT--1111éùT-1=(Xk-Sm)éë(Xk-+m)ùû(XXkk-mm)éùëûS-()P(Xk
35、m)=d1expêúëû-(XXkk-mm)S-()¶¶mm(2)p22
36、
37、S2Tlog=[1-]TTéS--11()(XX-mmù+éùS--)[1]ëkkûëû11dT-1T-1logP(Xk
38、
39、m)=-logéùëû(2)
40、pS
41、-(XXkk-mm)S-()=2[-1]éùëûS-()Xkm22nT-1(X-=mˆ)0–若干基础知识：¶T-1ÑmLX=2[-1]éùëûS(k-=mˆ)0åkÑlogP(
42、XXXm)(=-mm)S-()k=1qＡ是对称矩阵kkk，¶m则AAT=n结论mˆ=1XT=...TT-1åk()AB=BAS是对称矩阵nk=12(1)最大似然估计c1(1)最大似然估计c2211()x-q均值、方差未知的一维正态情况log(
43、Pxq)=--log2pqk1k222qÑ22qqm=,qs=
44、1éù1x-q12Ñlog(
45、Pxxqq)=-×êú2(-)(×-=1)k1qkk11êúëû2qq22éù-2均值11()xqPx(
46、q)=-expêúk1k2pq2qnn1n2êúëû2ååÑLx=(-=qˆ)0(x-=qˆ)0logqk1åk1kk==111qk=12211()x-qnlog(
47、Pxq)=--log2pqk11k222qqˆ=åx1k2
