具有中文人名识别功能的汉语自动分词算法研究

《具有中文人名识别功能的汉语自动分词算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、河北工业大学硕士学位论文具有中文人名识别功能的汉语自动分词算法研究姓名：潘景剑申请学位级别：硕士专业：模式识别与智能系统指导教师：于明20061101河北工业大学硕士学位论文具有中文人名识别功能的汉语自动分词算法研究摘要随着信息技术的飞速发展，中文信息处理技术已经渗透到计算机应用的各个领域。词处理平台技术是中文信息处理的中间环节，是连接字处理平台和句处理平台的关键环节，其核心难题是分词问题。汉语自动分词是对汉语文本进行自动分析的第一步，是词处理平台的基础，汉语自动分词技术的发展直接影响着中文信息处理技术的发展。本文对汉语自动分词的知识进行了

2、全面的描述，介绍了汉语自动分词的概念和国内外研究与应用的现状。对汉语自动分词技术的原理、方法、评价标准以及基本流程进行了分析和总结。其中重点对汉语自动分词歧义的采集和处理以及中文人名识别所用到的技术和各种算法进行了深入的研究与实验分析，并提出了一些改进思路。文中使用逆向最大匹配法和改进的正向最大匹配法相结合的方法对待切分字段进行双向扫描来采集歧义字段；并在歧义处理过程中做出一些改进，采用规则和统计相结合的方法，运用一些歧义切分的规则及最大概率分词法消解歧义字段；同时采用了统计和规则相结合的方法对未登录词中的人名识别进行了实验，实现了具有人名

3、识别功能的中文分词算法。通过实验数据可以看到，本算法基本可以满足中文信息处理中的实际应用问题。关键词：汉语自动分词，中文人名识别，歧义切分，最大匹配i具有中文人名识别功能的汉语自动分词算法研究STUDYONTHEAUTOMATICCHINESEWORDSEGMENTATIONWITHCHINESENAMESRECOGNATIONFUNCTIONABSTRACTWiththerapiddevelopmentofinformationtechnology,theChineseinformationprocessingtechnologyhasa

4、lreadypermeatedthrougheachfieldofcomputerapplication.ThewordprocessingplatformtechnologyistheintermediatelinkofChineseinformationprocessing.Itisthekeylinktoconnectcharacterprocessingplatformandsentenceprocessingplatform,ofwhichthemostdifficultproblemisthewordsegmentationpr

5、oblem.ChineseautomaticwordsegmentationisthefirststepofautomaticanalysisofChinesetext,andthefoundationofwordprocessingplatform.ThedevelopmentofChinesewordsegmentationtechnologyisinfluencingthedevelopmentoftheChineseinformationprocessingtechnologydirectly.Thepaperdepictsthek

6、nowledgeofautomaticChinesewordsegmentationindetail.ItintroducestheconceptandcurrentresearchandapplicationsituationathomeandabroadofautomaticChinesewordsegmentation.Thepapersummarizesanddescribesthetheories,methods,evaluatingstandardsandbasicworkflowofautomaticChinesewordse

7、gmentation.EspeciallytheresearchingemphasisisonthetechniquesandalgorithmsofambiguitiesrecognitionandprocessingaswellasChinesenamesrecognition,andputforwardtherelevantadvancedalgorithms.Thistextusesthereversedirectionalmaximummatchingmethodandimprovedmaximummatchingmethodto

8、getdatafromtheambiguitiousfields.Thistextalsomakessomeimprovementintheambiguitiesprocesse