基于全切分和碎片提取的中文自动分词系统

《基于全切分和碎片提取的中文自动分词系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要中文自动分词是中文自然语言处理的一项基础性工作，也是中文信息处理的一个重要问题，在很多领域扮演着非常重要的角色。中文自动分词系统是利用计算机对中文文本进行词语自动切分的系统。我国很早就开始了这一方面的研究工作，已经取得了很多成果，涌现出大量的基于各种算法的分词系统。但是真正满足实际需要的分词系统还没有出现，有待于进一步深入探讨。’本文对已经出现的分词算法进行了总结，对各种算法进行了优缺点的分析，并结合汉语本身的特点指出了影响分词系统性能提高的主要因素。本文的主要工作是：针对中文分词系统实

2、现中的主要难点——歧义切分和未登录词识别，进行了一些有意义的探讨，提出了一种基于改进的全切分算法的粗分模型和基于碎片提取的未登录词处理相结合的方法。按照通用的、已经成为标准的分词系统评价标准(准确率P，召回率R和平均值F)，、对基于该方法的分词系统进行了小规模开放测试，试验取得了比较好的结果，说明该方法对以后的自动分词研究有一定的参考价值。文章的最后分析了系统中存在的问题，并提出了对未来分词系统的展望。关键词：自动分词改进的全切分碎片提取未登录词AbstmctAbstractChineseaut

3、o—se舯entationisnotonlythefoundatjonofNLP(NatumlLanguageProcessing)，butalsoacrucidissueinNU，alldith弱becnplayingimportalltroleinmanyfields．Chineseauto—segmentationsystemcansegmenttheChinesewOrdsautomaticaIlyusingcomputer．PeoplehaVestanedtheresearchOnit

4、formanyyears，蛐ddevel叩edm柚yChineseauto-segmentationsystemsbasedondifEerentalgorithms．However'thereaTestillsomeproblemsforthesesystemstobeusedinpracticalapplication，whichneedtobesolvedbyfIlnhe¨esearch．InthispaperwesummarizetheworkoftheChineseauto—segme

5、ntation．Thmughanalyzingandcomparing，wepointouttheadV柚tagesaIldshort∞mingsoftheexistingsegmentationmethods．WealsofigIlreoutthemainfactorswhichhaVebade丘-ectinChineseauto-segInentationsystems．TllIemainwork0fthisp印erisasfollows：wefirstlydosomediscussi咖ab

6、outthedi蠡EicultiesofimplementingtheChineseauto—segmentationsystem，indudiIlgambigII咖swordsegmentation柚d00V(outofvocabul盯y)id∞tification，thenputforwardamethodaimedattheabOVepmblem，whichusesmughsegmentatiOnmodelbasedonimpmVedomni—segmentationalgorithman

7、dOOVidentificationbasedonfragmentabstmction．AccordingtOthecommonst蛐dardauto—segmentationsystemestimate商tefi伽(precisionrateP’recaurateR，averagef)，wepmccsssmall·scaleopeningtestonauto·segmentationsystemwhichisbasedontheaboVemethod-andget目D0dresults，whi

8、chindicatesthatthjsmethodhassomerefcrcncevaluefbrlatterauto—se掣nentationresearch．Attheendofthepaper，weaIlal)，zetheexistingpmbleminthesystem，锄dpointoutthede^，elopingdirectionsoffutureChineseauto·segmentation．Keywords：auto—se掣nentationimpmVedomni—segme