资源描述：
《隐马尔可夫模型简介.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、隐马尔可夫模型简介刘群2001-6-11X1X2XT…………O1O2OT…………假设对于一个随机事件，有一个观察值序列：O1,...,OT该事件隐含着一个状态序列：X1,...,XT假设1：马尔可夫假设（状态构成一阶马尔可夫链）p(Xi
2、Xi-1…X1)=p(Xi
3、Xi-1)假设2：不动性假设（状态与具体时间无关）p(Xi+1
4、Xi)=p(Xj+1
5、Xj)，对任意i,j成立假设3：输出独立性假设（输出仅与当前状态有关）p(O1,...,OT
6、X1,...,XT)=Πp(Ot
7、Xt)定义一个隐马尔可夫模型(HMM
8、)是一个五元组：(ΩX,ΩO,A,B,π)其中：ΩX={q1,...qN}：状态的有限集合ΩO={v1,...,vM}：观察值的有限集合A={aij}，aij=p(Xt+1=qj
9、Xt=qi)：转移概率B={bik}，bik=p(Ot=vk
10、Xt=qi)：输出概率π={πi}，πi=p(X1=qi)：初始状态分布问题令λ={A,B,π}为给定HMM的参数，令σ=O1,...,OT为观察值序列，隐马尔可夫模型（HMM）的三个基本问题：评估问题：对于给定模型，求某个观察值序列的概率p(σ
11、λ)；解码问题：对于给定模
12、型和观察值序列，求可能性最大的状态序列；学习问题：对于给定的一个观察值序列，调整参数λ，使得观察值出现的概率p(σ
13、λ)最大。算法评估问题：向前算法定义向前变量采用动态规划算法，复杂度O(N2T)解码问题：韦特比（Viterbi）算法采用动态规划算法，复杂度O(N2T)学习问题：向前向后算法EM算法的一个特例，带隐变量的最大似然估计算法：向前算法（一）定义前向变量为HMM在时间t输出序列O1…Ot，并且位于状态Si的概率：算法：向前算法（二）迭代公式为：结果为：变化连续输出模型输出矩阵变为某种概率分布，如高斯分
14、布多阶转移矩阵例子：病情转化假设：某一时刻只有一种疾病，且只依赖于上一时刻疾病 一种疾病只有一种症状，且只依赖于当时的疾病症状(观察值)：发烧，咳嗽，咽喉肿痛，流涕疾病(状态值)：感冒，肺炎，扁桃体炎转移概率：从一种疾病转变到另一种疾病的概率输出概率：某一疾病呈现出某一症状的概率初始分布：初始疾病的概率解码问题：某人症状为：咳嗽→咽喉痛→流涕→发烧 请问：其疾病转化的最大可能性如何？例子：词性标注问题：已知单词序列w1w2…wn，求词性序列c1c2…cnHMM模型：将词性为理解为状态将单词为理解为输出值训练：统
15、计词性转移矩阵[aij]和词性到单词的输出矩阵[bik]求解：Viterbi算法应用语音识别音字转换词性标注（POSTagging）组块分析基因分析一般化：任何与线性序列相关的现象资源Rabiner,L.R.,ATutorialonHiddenMarkovModelsandSelectedApplicationsinSpeechRecognition,ProceedingsoftheIEEE,vol.77,no.2,Feb.1989,pgs257-285.Thereisalotofnotationbutverb
16、oseexplanationsaccompany.翁富良，王野翊，计算语言学导论，中国社会科学出版社，1998HTK：HMMToolkitHiddenMarkovModel(HMM)WhitePaper(GeneMatcher)……总结HMM模型可以看作一种特定的BayesNetHMM模型等价于概率正规语法或概率有限状态自动机HMM模型可以用一种特定的神经网络模型来模拟优点：研究透彻，算法成熟，效率高，效果好，易于训练
