毕业论文--中文自动分词算法综述

《毕业论文--中文自动分词算法综述》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文自动分词算法综述内容摘要本篇文章首先介绍了分词在信息检索、自动标引、自动文摘、机器翻译、语言学研究、搜索引擎研究和自然语言理解等方面的应用以及现有的分词系统；接着介绍分词的基本知识，并提出分词规范的问题，进而引出分词的困难：歧义识别，未登录词识别，分词与理解的先后。第三章给出三种基本分词方法：基于字符串匹配、基于理解和基于统计的分词方法。特别地给出三种分词算法：最大匹配算法，最少切分算法，基于统计语言模型的分词算法。并分析三种算法的优缺点，指出现有分词算法的局限性。最后从分词算法的特点和输入习惯的角度提出一些新的想法，并对分词算法的发展趋势做出预测。关键字

2、：分词匹配统计理解22AutomaticsegmentationforChinese:thesurveyAbstractThispaperfirstintroducedthesegmentationintheinformationinspectional,automaticmark,automaticselectedessays,machinetranslation,thelinguisticsstudy,searchfortheenginestudytocomprehendwithnaturallanguagetowaittheapplicationandc

3、urrentsegmentationsystemoftheaspect;Immediatelyafterintroducethesegmentation’sbasicknowledge,andbringuptheproblemofthesegmentation,andenterbutthedifficultyofthesegmentation:Theambiguityidentifies,andunlistedwordsidentify,segmentationandcomprehendsuccessively.Chapter3givestooutthreeb

4、asicparticiplemethods:Baseonstringsmatching,statisticsandcomprehending.Andanalyzethegoodnessandweaknessofthreekindsofcalculateways,pointoutthelocalizationofthecurrentparticiplecalculateway.AutomaticChinesewordsegmentationisabasicresearchissueonChineseinformationprocessingtaskssuchas

5、informationextraction，informationretrieval，machinetranslation，textclassification，automatictextsummarization，speechrecognition，text—to—speech，naturallanguageunderstandingandsoon.KeyWords：Segmentationmatchstatisticscomprehend22目录绪论1（一）引言1（二）汉语的特点1（三）中文分词的定义、意义和现状21.中文分词的定义22.中文分词的意义23

6、.中文自动分词现状24.几个早期的自动分词系统3（四）自动分词系统的性能指标4（五）问题的提出5一、中文分词中的难题6（一）歧义识别6（二）新词6（三）现有研究成果61.歧义的消除72.未登陆词的识别7二、现有分词方法分析9（一）现有分词方法介绍91.现有主要的分词方法92.分词算法的基本思想9（二）分词方法的比较101.机械匹配算法102.统计语言算法103.人工智能算法10（三）现有的分词方法的局限性11三、最大匹配算法的研究12（一）最大匹配算法设计12（二）最大匹配算法的不足1522（三）对最大匹配算法的改进15四、分词系统的发展前景17（一）汉语自动

7、分词系统的发展前景17（二）分词算法的发展趋势171.传统汉语书面文本的有效切分172.计算机信息处理技术的快速发展183.书面汉语书写规则的改造与规范18五、设计心得20参考文献2122绪论（一）引言目前，国内的每个行业、领域都在飞速发展，这中间产生了大量的中文信息资源，汉语信息处理就显得极为重要。汉语信息处理可分为字处理阶段、词处理阶段、语句处理阶段、篇章处理阶段。就整体水平而言，我国的汉字信息处理水平正处于从字处理向语句处理的过度阶段，单纯解决字处理问题已经不能满足汉语信息处理的发展需求。我们说当前正在解决词处理阶段问题，并不是不能或没有人探索语句处理乃

8、至篇章处理，但词处理这个基础是不能超越