现代汉语自动分词歧义的分析及其消歧处理的研究

《现代汉语自动分词歧义的分析及其消歧处理的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文摘要自然语言处理的目标之一就是找到一种方法把由简单词序列构成的句子中加上丰富的注释符号，使句子表达的含义从有结构标注的句子中比无结构信息标注的句子中更易于抽取出来。众所周知，汉语的句子是由字串构成的，词与词之间没有空格隔开。因此汉语的自动分词就成了汉语信息处理的第一步，同时也是后续的词性标注、句法分析和语义分析的基础。其中，分词歧义排歧和未登录词识别成为汉语自动分词的两大障碍，本文集中研究了分词歧义的特征与消歧处理。首先给m了汉语分词及其歧义类型的形式化描述；然后分别对两种主要分词歧义及其消歧处理做了详细的研究；最后给出了实验结果。对于组合型歧义，通过语料库

2、学习到歧义字段的消歧规则列表并对其进行优化，然后用来纠正这些歧义字段的分词错误。与语言学专家总结的规则相比，自动学习到的规则更客观、更全面、更节省人力，是今后计算语言学研究的发展方向。对于交集型歧义，首先通过语料库学习到了每一类交集型歧义的消歧规则，然后用于纠正交集型歧义字段。同时也采用了最大概率算法和查表的方法对交集型歧义字段进行排歧，实验取得了较好的效果。关键词：自然语言处理；自动分词；交集型歧义；组合型歧义；现代汉语自动分词歧义分析及其消歧处理研究AbstractOnegoalofnanlrallanguageprocessingistodiscoVerameth

3、odforass培ningarichstmcnlralannotationtosemencesthatarepresentedassimplelinearstringsofwords，meaJlingcanbemorereadilvextracted丘omastmcnIrallvaIlIlotatedsentencethan丘DmasentencewithnostmctllralinfbⅡnation．BecauseitiswellknownthatChinesesemenceconsistsofasequenceofChinesecharacters，Cllinese

4、wordsegmentationbecamethefirstst印ofCmnese协fonnationprocessing．Moreovetitistllefoundationofpartofspeechtaggin＆syntaxanalysisandsemanticanalysis．Wordsegmentationambiguousa11ddistinguish丘omu11lmownwordintoChinesewordsarethetwoobstaclesinthetechn0109iesofChinesewordsegmentation．thisdissertat

5、ionfocusontheresearchofthecharacteristicsanddisambi譬uationofambiguoussegmentation．Firstlv，thisdissertationDresentstheformalizationdcscriptionorChinesewordsegmentationanditsmainambi里uoustvpes；secondlMeachofthesetwoambiguousanditsdisambiguationmethodswerethoroughstudied：fina儿yIcxperimental

6、陀sultsweregivenTocombinationambiguoussegmenLa“on，weacquireandoptimizedisambiguationruleslistthroughcorpus，thenapplythemlestocorrectambiguousse譬mentation．Comparedwiththemlcscreatedmanuallvbv1an譬ua譬eexperts，theautomatlcacqulnngmlesaremoreobJectIve，morecomprehenslVe，andmoresaVm＆1tisthefmllr

7、edirectionofcomputationallinguisticsresearch．Tbovcrlappingambiguoussegmentation，thedis砌biguationnllesofeachambiguousclassareacquiredthrou曲corpustoo．andcorrectthe锄biguousse舯entation．Atthes锄etimc，山isdissenationalsousedthemethodsofbasedonmaximmDrobabilitv州thmeticandbasedonse