隐马尔可夫模型综述

《隐马尔可夫模型综述》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、隐马尔可夫模型综述于江德摘　要：隐马尔可夫模型是一种有着广泛应用的统计模型，它是在马尔可夫模型基础上发展起来的。本文首先简要介绍了马尔可夫模型，然后对隐马尔可夫模型的基本概念、一般形式、三个基本问题及其解决算法进行了详细介绍，最后就隐马尔可夫模型的应用及当前研究的热点、难点进行了论述。关键字：马尔可夫模型；隐马尔可夫模型；前向算法；后向算法；韦特比算法1引言隐马尔可夫模型（HiddenMarkovModel，简称HMM）是一种用参数表示，用于描述随机过程统计特性的概率模型，它是在马尔可夫模型基础上发展起来的。早在20世纪的6

2、0年代末和70年代初，HMM的基本理论就由Baum等人建立起来了，并由卡耐基－梅隆大学（CMU）的Baker和IBM的Jelinek等人将其应用到语音识别之中，取得了很大的成功[1]。但是，HMM引起世界各国从事语音处理研究的学者们广泛关注，并成为语音识别系统中构建统计模型的重要手段，却是20世纪80年代中期以后的事情，究其原因主要有两个[1]：首先，HMM理论起先发表在数学杂志上，并未被很多从事语音处理研究的工程技术人员获悉。其次，HMM首次应用于语音处理时，并没有提供足够的一般性介绍，从而使得多数研究人员无法理解其基本理

3、论并将其应用到自己所从事的研究中去。直到1983年以后，Bell实验室的Rabiner等人发表了很有影响的一系列系统介绍HMM的理论和应用的文章[1]上述状况才得以根本改变。从上世纪80年代末开始，马尔可夫模型和隐马模型除了在语音识别领域继续得到广泛应用外，从上世纪90年代初到现在，HMM开始用到许多新的领域，如：自然语言处理领域的词性标注（Part-of-speechTagging）[2～7]、命名实体识别[8]、特定信息抽取[9,10]、词法分析等；生物信息学中HMM被广泛用来分析基因序列[2,11]等。由于HMM是建立

4、在马尔可夫模型基础之上的，因此，本文首先简要介绍马尔可夫模型，然后对隐马尔可夫模型的基本概念、一般形式、三个基本问题及其解决算法进行详细介绍，最后就隐马尔可夫模型的应用及当前研究的热点、难点进行论述。2马尔可夫模型马尔可夫模型最早是由AndreiA.Markov于1913年提出的[2]10,它的最初始目的是为了语言上的应用，即为俄国文学作品中的字母序列建模，随后马尔可夫模型发展成了一个通用的统计模型。为了区别于HMM，一般把马尔可夫模型称为显马尔可夫模型（VisibleMarkovModel，简称VMM）。马尔可夫模型描述了

5、一类重要的随机过程，该过程对应了一个随机变量序列（通常与时间有关），该序列满足这样的条件：序列中的随机变量值只依赖于它前面的随机变量。这样的随机变量序列，通常称为一个马尔可夫链。在实际工作中有很多类似的系统，该系统有N个状态S1，S2，……,SN,随着时间的推移，该系统从某一状态转移到另一状态。我们将在时间t的状态记为qt。对该系统的描述通常需要给出系统的当前状态（时间为t的状态）及其之前的所有状态，这些状态序列就构成了随机变量序列。综上所述，我们可以给出马尔可夫模型如下形式定义：假设一个取值为S={s1,s2,.,sN}的

6、随机变量序列X={X1,X2,.,XT}，当该序列具有以下性质：（1）有限视野性：即当前状态只与前n个状态有关,如公式2.1所示。P(qt=sj

7、qt-1=si,qt-2=s,……)=P(qt=sj

8、qt-1=si,qt-2=s,…,qt-n)（2.1）如果在特定情况下，系统在时间t的状态只与其在时间t-1的状态相关，则该系统构成一个离散的一阶马尔可夫链，公式2.1就简化为2.2：P(qt=sj

9、qt-1=si,qt-2=s,……)=P(qt=sj

10、qt-1=si)（2.2）（2）时间不变性：即只考虑公式2.2独立于时间t的

11、随机过程，也就是说对任何时间t该公式都成立。P(qt=sj

12、qt-1=si,qt-2=s,……)=P(qt=sj

13、qt-1=si)=aij1≤i，j≥N（2.3）该概率aij就称为状态转移概率。我们就称该随机变量序列为马尔可夫链、或者一个马尔可夫过程，这样一个模型就称为马尔可夫模型。显而易见一个马尔可夫模型由以下几个部分组成：状态空间S={s1,s2,.,sN}随机状态序列变量X={X1,X2,.,XT}状态转移概率矩阵A={aij},1≤i≤N,1≤j≤N开始状态向量Π={πi=P(X1=si)},1≤i≤N这样，可以记一

14、个马尔可夫模型为一个四元组：λ＝{S，X，П，A}或简写为一个二元组：λ＝{П，A}10马尔可夫模型也可以用状态转换图来表示[2]。在这个状态转换图中，每个状态转移用一个转换箭头表示，每个状态用一个结点表示。每个箭头从转换前状态结点指向转换后的状态结点，箭头上标有状态间转换概率。每个结点的