资源描述：
《HMM模型和词性标注》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、HMM模型 和词性标注徐志明哈工大语言技术中心目录Markov模型HMM词性标注Markov模型描述：一个随机过程上的随机变量序列，X=X1,X2…Xt随机变量取值于有限集S={s1,s2…sN}。S称为状态空间。XXXX状态序列Markov模型模型描述一个随机过程，存在着一个随机变量序列X=X1,X2…Xt随机变量的取值于有限集S={s1,s2…sN},S称为状态空间。两个假设：有限视野：P(Xt+1
2、X1,X2…Xt)=P(Xt+1
3、Xt)时间不变性:这种条件依赖，不随时间的改变而改变。若随机过程满足上述假设，则是一个Markov过程（链）。Markov模型模型表示：三元组(S,p,A
4、)S：状态的集合，S={s1,s2…sN}。p：初始状态的概率。p={p1,p2…pN};pi=P(X1=si)A：状态转移概率矩阵。A={aij};aij=P(Xt+1=sj
5、Xt=si)状态图相当于一个有限状态自动机转移弧上有概率Markov模型状态空间S={t,i,p,a,h,e}初始概率p={1.0,0,0,0,0}状态转移概率矩阵Markov模型计算状态序列的概率例子：TheMarkovChain–Ex2例：Markov模型描述道琼斯工业指数。5个连续上涨交易日的概率Markov模型Bigram：一阶Markov模型.HMMHMM，从状态产生输出HMMHMM，不同状态可能产生相同
6、输出HMMHMM，从弧中产生输出HMMHMM，输出带有概率HiddenMarkovModel（HMM）模型原理表层事件：可观察序列；底层事件：隐藏的、不可见的；状态序列。表层事件是由底层事件引起的。根据表层事件的可观察序列，推测生成它的底层事件的序列。例子：观察一个人每天带雨伞情况，推测天气情况。隐藏的状态序列表层的可观察序列HMM应用例子例子：HMM假设一个随机过程，有一个观察序列O=O1,O2...OT，该过程隐含着一个状态序列X=X1,X2...XT假设Markov假设假设1：有限历史假设：P(Xi
7、X1,X2…Xi-1)=P(Xi
8、Xi-1)假设2：时间不动性假设输出条件独立性假设
9、输出仅与当前状态有关P(O1,O2...OT
10、X1,X2...XT)=ΠtP(Ot
11、Xt)HMM模型－图示两个随机过程Markov链（,A）符号输出过程（B）状态序列观察值序列X1,X2...XTO1,O2...OTHMM的组成示意图HMM模型－图示状态空间观察序列时间状态序列X1X2XT-1XT-1HMM模型－图示oTo1otot-1ot+1x1xt+1xTxtxt-1HMM模型表示模型表示五元组(S,V,p,A,B)符号表S：状态集合，{s1,…,sN}。V：输出字母表，{v1,…,vM}模型参数p：初始状态概率。p={pi};A：状态转移概率。A={aij};B：符号输出概率。B=
12、{bjk};序列状态序列：X=X1,X2…XT输出序列：O=O1,O2…OTHMM过程HMM过程描述t=1；初始状态概率分布为。从状态si开始的概率为i；Foreverdo从状态si向状态sj转移,并输出观察符号Ot=k。其中，状态转移概率为aij。符号输出概率为bjkt=t+1EndHMM的三个基本问题给定一个观察序列O=O1,O2…OT和模型μ=(A,B,)问题1：如何有效计算观察序列O=O1,O2…OT的概率P(O
13、μ)？评价问题问题2：如何寻找最佳的状态序列X=X1,X2…XT？解码问题问题3：如何训练模型参数μ=(A,B,)，使得P(O
14、μ)概率最大？模型参数学习、
15、训练问题HMM相关的算法评价问题：向前算法定义向前变量采用动态规划算法解码问题：Viterbi算法采用动态规划算法模型参数训练、学习问题：向前-向后算法EM算法问题1：评价（Evaluation）给定一个模型μ=(A,B,)，计算某一观察序列O=O1,O2…OT的概率P(O
16、μ)HMM－例子假设：某一时刻只有一种疾病，且只依赖于上一时刻疾病（有限历史假设）一种疾病只有一种症状，且只依赖于当时的疾病（输出条件独立性假设）症状(观察值)：O=O1,O2…OT发烧，咳嗽，咽喉肿痛，流涕疾病(状态值)：X=X1,X2…XT感冒，肺炎，扁桃体炎转移概率：A从一种疾病转变到另一种疾病的概率输出概率：
17、B某一疾病呈现出某一症状的概率初始分布：初始疾病的概率问题：给定：某人症状为：咳嗽→咽喉痛→流涕→发烧。O=O1,O2…OT计算：这个观察序列的概率P(O)HMM－例子方案1oTo1otot-1ot+1x1xt+1xTxtxt-1输出条件独立假设有限历史假设P(A,B
18、C)=P(A
19、B,C)P(B
20、C)方案1oTo1otot-1ot+1x1xt+1xTxtxt-1算法时间复杂度太高，需要O(T*NT)方案2-向前算法使
