基于改进的隐马尔科夫模型汉语词性标注15

《基于改进的隐马尔科夫模型汉语词性标注15》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、湖南文理学院实习报告课程名称：计算机软件基础课程设计院部：电气与信息工程学院专业班级：通信工程学号姓名：指导教师：袁里驰完成时间：2011年12月25号报告成绩：评阅意见：评阅教师日期基于改进的隐马尔科夫模型汉语词性标注第一章基础理论介绍··································1.1N元模型········································1.2隐马尔科夫模型（HMM）······················1.3HMM用于词性标注·························

2、·········1.4平滑算法···········································第二章改进HMM标注模型与参数估计2.1改进HMM模型词性标注·····························2.2参数估计··········································2.2.1训练语料库······································2.2.2当用数据库···································2.2.3参数估计过程··

3、··································2.3结果举例···········································2.4平滑算法···········································2.4.1词性概率的平滑··································第三章改进Viterbi算法标注3.1标注过程············································3.2改进后的Viterbi算法的具体描述······

4、················3.2.1改进的Viterbi算法变量设置·····················3.2.2算法说明·······································3.2.3算法描述·······································3.2.4算法复杂度·····································3.3未登录词标注方法··································3.4标注实例·····················

5、·······················第四章实习心得：·······································第一章基础理论介绍描述物理世界和自然语言的模型可以分为确定性模型和统计模型。确定性模型运用明确的规则来表述物理世界或自然语言的已知的特定属性。然而并不是所有的物理世界和自然语言的统计属性。其基本假设是，物理世界和自然语言可以用随机过程来刻划，而随机过程中的参数可以精确地估计。物理世界中统计模型的例子有统计力学，在自然语言中有概率语法。本章的主要内容就是介绍几种概率语法，如N元模型（N-gramModel）

6、、隐马尔科夫模型（HiddenMakovModel,HMM）等等。1.1N元模型统计语言模型的实质就是刻画所有有序列，的概率分,此概率反映了字符序列作为句子的概率大小。我们首先介绍被广泛运用于不同应用领域中的N元模型。在N元模型中，可以分解如下：==其中，表示给定序列的条下，后面紧跟的概率。,要有个参数需要估计。随着历史长度的增加，不同的历史数按指数级增长。事实上，绝大多数的历史在训练数据中根本没有出现，要估计这么多的参数根本就是不可能的。所以，可以假定只依赖于等价类，而等价类的数目远远小于不同历史的数目。一种简单的等价类可以近似的假定只依赖

7、于前面的N-1个词，这样得到的模型就是N元模型。特别的，当N=2时，，这就是二元模型，也被称为一阶马尔科夫链：当N=3时，，这就是三元模型，也被称为三阶马尔科夫链。1.2隐马尔科夫模型（HMM）HMM模型是一双重随机过程，其中模型的状态转移过程是不可观察的。而可观察的事件的随机过程是隐蔽的状态转换过程的随机函数。也可以这样理解：HMM是指内部状态外界不可见，外界只能看到各个时刻的输出值。HMM是经典的描述随机过程的统计方法，在自然语言处理中得到了广泛的应用。HMM模型可以看作一种特定的BayesNet，等价于概率正规语法或概率有限状态自动机，

8、可以用一种特定的神经网络模型来模拟。HMM模型的优点主要有：研究已经非常透彻，算法成熟，效率高，效果好，易于训练。HMM的三大假设：对于一个随机事件，有一个观察值序