基于层叠隐马尔可夫模型的中文命名实体识别

《基于层叠隐马尔可夫模型的中文命名实体识别》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据第27卷第2期2006年2月通信学报如L耶donCommunlcations～bl27No2Febmarv2006基于层叠隐马尔可夫模型的中文命名实体识别俞鸿魁1一，张华平1，刘群1，吕学强2，施水才2(1中围科学院训算技术研究所．北京lO(】080：2北京信息科技人学中文信息处理研究中心，北京100101)摘要：提出了一种基于层叠隐马尔可夫模型的中文命名实体一体化识别方法，旨在将人名识别、地名识别以及机构名识别等命名实体识别融合到一个相对统一的理论模型中。首先在词语粗切分的结果集上采用底层隐马尔可夫

2、模型识别川普通无嵌套的人名、地名和机构名等，然后依次采取高层隐马尔可夫模型识别出嵌套了人名、地名的复杂地名和机构名。在对大规模真实语料库的封闭测试中，人名、地名和机构识别的F．1值分别达到92．55％、9453％、8651％。采削该方法的系统IcTcLAs和2003年5月s】GHAN举办的第一届汉语分词大赛巾名列前茅。关键词：命名实体识别；角色标注；lcTcLAs中图分类号：TP391．2文献标识码：A文章编号：1000436x(2006)02一0087一08Cllinesenamede洲锣id锄倘ca6佃u

3、singcas∞dedllidd蛐MarkovmoddYuHong_kuil一，zHANGHua．pin91，LIUQunl，LVxue—qian92，sHIShui．cai2(1Ins【Im钯ofco。口u“岵儆h删k副，mchiⅡeseAc眦rny0fsciences，B蜘mg100080．chiⅡa；2ch㈣lnf0皿a曲nPmcessmBandResea心centeLBeUingInform撕onsc舢＆慨hnologyunI惴i吼BejiⅡ9100101．chlna)A№瑚tt：An8pproach

4、forChinesenamedenb哆idenn虹c“onu曲ngcascadedhiddenMarkovmodel，whichaimedtolncorpora忙per如nn跚e，10ca“onn锄e，o玛arIization岫merecognltionintO8IlintegfatedtheoretjcalffamewaspresentedSimplenamede而tyw酏recOglli珥dbylowerHMMmodel世erroughsegmenta60n粕dcoTnplexn锄edend廿suchas

5、pe幅onname，locabonn锄e锄dorganlza60Ⅱn锄ew鹊recognizedbyhigherHMMrnodelusingmIet{lg百Ⅱg．Intheteston18玛erealisticcorpus，{佶F_lmeasureofpcrsonn锄e，10cadonnameando曜anizatbnnamewas9255％，9453％and86．51％．Inthe丘巧tinteH掘dorlalword8egmentationbakeoffheldbySIGHAN(山eACLSpecmInt

6、erestGfo“ponchineseLanguageProces瓢ng)至n2003．ICl℃LAs，wbichnameentityldenn&atlonbaseonthismodelachievedexcellentscoreKeywords：n锄eden吐tyidenb缸anon；r01etagging；ICTcLAS引言命名实体识别(namedendtyidentmcadon)的研究是自然语言处理中的一项基本工作，不仅是分词和标注过程中的一个重要环节，而且在句法分析、机器翻译、信息检索、提取以及自动问

7、答系统等领域中也有直接的应用。由于中文文本中词与词之间没有分隔符，中文文本的分词和中文命名实体的识收稿日期：2005一】l—15；修回日期：2005-12—20基金项目：国家重点基础研究发展计划(“973”计划)基金资助项目(G1998030507-4，G19980305lo)；计算所领域前沿青年基金资助项目(20026180_23)；国家自然科学基金资助项目(印272084)；北京市教育委员会科技发展计划重点项目(Kz200310772013)F叫nda廿0nIt哪s：neN嘶onalBaslcResear

8、chProgramofchina(973Pm口aIn)(G1998030507．4，G1998030510)：TheICTYouthPund(20026180—23)：TheNatIonalNaturalScknceFoundationofChina(60272084)；TheSclenti&ResearchKeyProgramofBe巧ingMunicipaIcom耐ssionofEducanon