资源描述：
《隐markov 模型及其在自然语言处理中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、《机器翻译》课程报告隐Markov模型及其在自然语言处理中的应用中科院计算所96博王斌1998820Markov模型是AndreiA.Markov提出来的现在用途十分广泛的一个统计模型。在它基础上，又发展了各种不同的Markov模型。隐Markov模型(HiddenMarkovModel,HMM)是Markov模型的一种，它在语言建模，特别是语音识别(SpeechRecognition)中应用特别广泛。尽管有些限制，但HMM在这个领域仍被认为是最成功的模型之一。在自然语言处理的其它领域，例如词性标注(Part-of
2、-speechTagging)，应用HMM也取得了一定的进展。本文首先介绍一般Markov模型的概念，然后介绍隐Markov模型的概念及相关问题处理算法，最后介绍其在自然语言处理中的应用。一、一般Markov模型假设存在这样一个随机变量序列(通常与时间有关)，它满足这样的条件：每个随机变量之间并非相互独立，并且每个随机变量只依赖序列中前面的随机变量。在很多类似的系统中，我们可以做出这样的假设：我们可以基于现在的状态预测将来的状态而不需要考虑过去的状态。也就是说，序列中将来的随机变量与过去的随机变量无关，它条件地依赖
3、于当前的随机变量，这样的随机变量序列，通常称为一个Markov链，或者说这个序列具有Markov性质。形式地，假设一个取值为S={s1,s2,⋯,sN}的随机变量序列X={X1,X2,⋯,XT}，当该序列具有以下性质：(i)P(Xt+1=k
4、X1,X2,⋯,Xt)=P(Xt+1=k
5、Xt)(ii)P(Xt+1=k
6、Xt)=P(X2=k
7、X1)时，我们就称该随机变量序列为Markov链、或者一个Markov过程，这样一个模型就称为Markov模型。一个Markov模型由以下几个部分组成：状态空间S={s1,s2,⋯,
8、sN}={1,2,⋯,N}(为方便起见，我们用状态下标代表相应的状态)状态转移概率矩阵A={aij},1≤i≤N,1≤j≤NPage1《机器翻译》课程报告开始状态向量Π={πi=P(X1=si)},1≤i≤N随机状态序列变量X={X1,X2,⋯,XT}其中，aij=P(Xt+1=sj
9、Xt=si)表示在序列中，前一个随机状态变量为si时后一个随机变量为sj的概率，即状态si转移到状态sj的转移概率。显然，∀i,j,aij≥0,且∀i,∑aij=1jMarkov模型也可以用一个状态转换图来表示。在这个状态转换图中，每
10、个状态转移用一个转换箭头表示，每个状态用一个结点表示。每个箭头从转换前状态结点指向转换后的状态结点，箭头上标有状态的转换概率。每个结点的所有出箭头上的概率之和为1，概率为0的转换箭头省略。很显然地，我们可以把Markov模型看成一个不确定的有穷状态自动机。经过T次转换后的状态向量为：T∏×A一个Markov随机变量序列X1,X2,⋯,XT的概率很容易通过下式求得：P(X1,X2,⋯,XT)=P(X1)P(X2
11、X1)P(X3
12、X1,X2)⋯P(XT
13、X1,X2,⋯,XT-1)=P(X1)P(X2
14、X1)P(X3
15、X
16、2)⋯P(XT
17、XT-1)T=πXi∏aXtXt+1t=1对于一个n元(n-gram)模型，当n≥3时，由于其转移概率依赖于序列中前面的多个状态，按照Markov模型的定义，n元模型似乎不是个Markov模型。然而，只要把Markov模型中的状态集合扩充为一般状态集的笛卡尔积，就可以把n元模型看成一个Markov模型。在这种情况下，我们把考虑前面n个状态的Markov模型称为n阶Markov模型，与其对应的是n+1元模型。Markov模型常常用于市场预测等方面，由于它与n元模型之间是等价的，因此在统计语言学中也有着
18、广泛的应用。二、隐Markov模型(HMM)隐Markov模型(HiddenMarkovModel，HMM)是由基本MarkovPage2《机器翻译》课程报告模型发展而来的，它由以下几个部分组成：状态集合S={s1,s2,...,sN}={1,2,...,N}输出字母表K={k1,k2,...,kM}={1,2,...,M}起始概率向量Π={πi=P(X1=si)},1≤i≤N状态转移概率矩阵A={aij},1≤i≤N,1≤j≤N符号发生概率矩阵B={bik},1≤i≤N,1≤k≤M状态序列X={X1,X2,...
19、,XT}输出序列O={O1,O2,...,OT}其中S、A、X、Π与基本Markov模型中的概率一致，HMM多出一个输出序列O、一个输出字母表K和一个符号发生概率矩阵B。bik表示处于状态Si时输出符号kk的概率。实际上，HMM是一个二重Markov随机过程，它包括了状态转移的随机过程和观察值输出的随机过程，其中状态转移的随机过程是隐式的(这就是为什么称为隐
