资源描述：
《hmm与自动规则提取相结合的中文命名实体识别》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、HMM与自动规则提取相结合的中文命名实体识别廖先桃于海滨秦兵刘挺(哈尔滨工业大学信息检索研究室，哈尔滨，150001)E-mail:(taoz月，yhb,ginb,tliu)@ir.hit.edu.cn摘要:本文实现的中文命名实体识别系统采用了隐马尔可夫模型(HiddenMarkovMode1,HMM)与自动规则提取相结合的方法.整个识别过程可以分为两个步骤，首先使用HMM识别，然后再利用自动提取的规则对识别结果进行修正.二者的有机结合使得系统性能有了很大的提高.实验表明，中文命名实体识别总的精确率、召回率和F
2、值分别达到了86.93%,83.69%,85.28%.关键词:中文命名实体;隐马尔可夫模型引言命名实体(NamedEntity,NE)是指被命名的唯一确定的最小信息单位.包括人名、地名、机构名、专有名词、时间表达式、数字表达式等，是构成句子的重要成分。它的识别是信息抽取(InformationExtraction)、自动问答(QuestionAnswering)、机器翻译(MachineTranslation)等技术的重要基础。近年来，NE识别系统的评测受到很多会议的关注，如MUC-6,MUC-7,Coling
3、2002,Coling2003等川。美国国家标准技术研究所(NIST)组织的自动内容抽取(AutomaticContentExtraction,ACE)评测会议，也将NE识别作为其评测的两大任务之一，可见其重要程度。NE的识别方法主要有两种，一种是基于规则的方法，它的识别系统比较简单，但是必须人工制定规则，费时费力，且系统的健壮性和移植性不好。现在的NE识别更倾向于基于统计的机器学习方法，它的健壮性和灵活性都比规则的方法好，且代价小.但是需要大规模的语料进行A练。具有代表性的机器学习算法有HMMI21,Maxi
4、mumEntropyl31,Memory-basedlearning141,SupportVectorMachinel5喀。目前，英文NE的识别技术已经达到了较高水平。然而，对中文来说，因为一方面它没有空格标志词语边界，另一方面也没有词语的明确定义，所以和英文相比，中文NE的识别更加困难。常用手动书写规则并结合词频信息的方法，目前也开始使用机器学习算法，如IUIMI'J1'A,class-basedlanguagemodel171183,RRMtypemethods173191等。本文实现的中文NE识别系统采用
5、了统计和规则相结合的方法，首先以词性为观察值建立一个简单的基于IJMM的NE识别系统，然后再利用自动获取的规则对HMM的识别结果进行修正。这种方法可以有效的发挥二者的优势，充分利用NE的内部结构特征和上下文信息，克服了二者简单结合所带来的识别结果不易融合的缺点，提高了系统对中文NE的整体识别效果。1系统概述我们的系统包括两个部分，一是基于HMM的NE识别部分，二是规则修正部分。系统的结构图如图1所示。基于HMM的NE识别部分的输入是己分词且标注了词性的句子，它的识别结果又作为规则修正部分的输入，整个系统的输出是
6、标注了NE标记的句子。下面我们就将对系统做详细介绍。h仰:J/www.itl.nist.gov/iad/894.01/tests/ace/·232。图1HMM与自动规则提平时Q结合的中文阳识别系统2基干HMM的NE识别2.1Mil练M[io】是一种重要的统计自然语言模型.己被广泛应用于语音识别，音字转换，词性标注等领域.模型描述了一个双重的随机过程，其中，状态之间的转换过程是不可观察(隐藏)的，它对应了转移概率矩阵。而可观察的事件的随机过程是隐藏的状态转换过程的随机函数，它对应了发射概率矩阵。HMM可以表示为一
7、个五元组{S,0,P,A,B}。其中，S:(S,,⋯，S.}表示状态的集合:0:(0,,⋯，0.)表示观察值的集合;P二{Pi}表示状态的初始概率:A二(a;,}表示从状态S到状态S,的转移概率矩阵;B二{b"}表示从状态S」观察到0.的发射概率矩阵。在我们的基于HMM的NE识别系统中，主要利用词性作为观察值，共28种。系统识别的NE有四类，包括人名(Nh)、地名(Ns)、机构名(Ni)和专有名词(Nz)。每一种类别根据它的组成部分在NE中出现位置的不同又可以分为NE开头(B-NE),NE内部(I-NE),NE
8、结尾(E-NE)以及独立NE(S-NE)，再加上不属于任何NE类别的“其它”类型(0),共17种。这17种即为HMM中的17种状态。对于某个给定的词性序列W0WI'W,.二，W.，NE识别的目的是要找到一个最优的NE标注序列T=t,,t，.....t。使得条件概率P(TIW)达到最大·由贝叶斯公式可得:P(TI砰)=P(甲,T)=P(T)P(WIT)P(W)P(W)假设转移概率只与前一
