隐马尔科夫模型（HMM）.doc

《隐马尔科夫模型（HMM）.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、隐马尔科夫模型（HMM）第一章马尔科夫模型简介我们通常都习惯寻找一个事物在一段时间里的变化规律。在很多领域我们都希望找到这个规律，比如计算机中的指令顺序，句子中的词顺序和语音中的词顺序等等。一个最适用的例子就是天气的预测。隐马尔可夫模型的理论基础是在1970年前后由Baum等人建立起来的,随后由CMU的Bakex和IBM的Jelinek等人将其应用到语音识别中。由于Bell实验室的Rabine等人在80年代中期对HMM的深入浅出的介绍，才逐渐使HMM为世界各国的研究人员所了解和熟悉，进而在信息处理领域成为一个研究热点

2、。关于模型的建立有两种生成模式：确定性的和非确定性的。确定性的生成模式 ：就好比日常生活中的红绿灯，我们知道每个灯的变化规律是固定的。我们可以轻松的根据当前的灯的状态，判断出下一状态。图1.1确定性模型非确定性的生成模式： 比如说天气晴、多云、和雨。与红绿灯不同，我们不能确定下一时刻的天气状态，但是我们希望能够生成一个模式来得出天气的变化规律。我们可以简单的假设当前的天气只与以前的天气情况有关，这被称为马尔科夫假设。虽然这是一个大概的估计，会丢失一些信息。但是这个方法非常适于分析。马尔科夫过程就是当前的状态只与前n个

3、状态有关。这被称作n阶马尔科夫模型。最简单的模型就当n=1时的一阶模型。就当前的状态只与前一状态有关。（这里要注意它和确定性生成模式的区别，这里我们得到的是一个概率模型）。下图1.2是所有可能的天气转变情况：图1.2天气转变图对于有M个状态的一阶马尔科夫模型，共有M*M个状态转移。每一个状态转移都有其一定的概率，我们叫做转移概率，所有的转移概率可以用一个矩阵表示。在整个建模的过程中，我们假设这个转移矩阵是不变的。如图1.3所示：图1.3天气转变矩阵HMM是一个输出符号序列的统计模型，有N个状态S1,S2,·····S

4、N，它按一定的周期从一个状态转移到另一个状态，每次转移时，输出一个符号。转移到哪一个状态，转移时输出什么符号，分别由状态转移概率和转移时的输出概率来决定。因为只能观测到输出符号序列，而不能观测到状态转移序列（即模型输出符号序列时，是通过了哪些状态路径，不能知道），所以称为（HMM）隐藏的马尔可夫模型。HMM是一种随机过程，它用概率统计的方法来描述语音信号的变化过程。HMM与通常的Markov链的不同之处在于其观察结果不是与状态有确定的对应关系，而是系统所处状态的概率函数，所以模型本身是隐藏的，它与观察结果之间还有一层

5、随机的关系。HMM是对语音信号的时间序列结构建立统计模型，将之看做一个数学上的双重随机过程：一个是用具有有限状态的Markov链来模拟语音信号统计特性变化的隐含随机过程，另一个是与Markov链的每一个状态相关联的观测序列的随机过程。前者通过后者表现出来，但前者的具体参数是不可测的，只有通过观测序列的随机过程才能表现出来。HMM组成示意图，如图1.4所示。图1.4HMM组成示意图马尔科夫变换的一个实例：设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验进行方式如下：第一，根据初始概率分布，随机选择N个

6、缸中的一个开始实验。第二，第二，根据缸中球颜色的概率分布，随机选择一个球，记球的颜色为O1，并把球放回缸中。第三，根据描述缸的转移的概率分布，随机选择下一口缸，重复以上步骤。最后得到一个描述球的颜色的序列O1,O2,…，称为观察值序列O。用模型五元组λ＝（N,M,π,A,B）简记为：λ=(π，A，B)，对于上面的例子，我们可以用下面的框图简单的把各个量的关系表示出来，如下图2.1所示：图2.1实例与马尔科夫参数对应关系参数含义实例N状态数目缸的数目M每个状态可能的观察值数目彩球颜色数目A与时间无关的状态转移概率矩阵在

7、选定某个缸的情况下，选择另一个缸的概率B给定状态下，观察值概率分布每个缸中的颜色分布π初始状态空间的概率分布初始时选择某口缸的概率第二章马尔科夫模型解决的几个问题问题1：给定观察序列O=O1,O2,…OT,以及模型λ=(π，A，B),如何计算P(O

8、λ)？这类问题是假设我们有一系列的HMM模型，来描述不同的系统（比如夏天的天气变化规律和冬天的天气变化规律），我们想知道哪个系统生成观察状态序列的概率最大。反过来说，把不同季节的天气系统应用到一个给定的观察状态序列上，得到概率最大的哪个系统所对应的季节就是最有可能出现的季

9、节。（也就是根据观察状态序列，如何判断季节）。在语音识别中也有同样的应用。解决该问题比较经典的算法是：前向－后向算法。前向---后向算法（Forward-Backward，简称为F-B算法）是用来计算给定一个观察值序列以及一个模型时，由模型λ=(π，A，B)产生出O的概率。前向算法：前向算法即按输出观察值序列的时间，从前向后递推计算输出概率。可