基于Nutch搜索引擎的中文分词算法研究与实现.pdf

《基于Nutch搜索引擎的中文分词算法研究与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、分类号TP391学校代码10129UDC004学号08211005基于Nutch搜索引擎的中文分词算法研究与实现StudyandImplementationonChineseWordSegmentationAlgorithmofSearchEngineBasedonNutch申请人：马东学科门类：工学学科专业：计算机应用技术研究方向：智能计算与数据挖掘指导教师：李美安教授论文提交日期：二〇一一年五月摘要随着互联网技术的迅猛发展，网络信息资源呈几何级数增长，如何从海量数据中快速准确的提取有价值的信息显得更加重要。搜索引擎的出现有效的解决了用户检索信息的困难。而中文分

2、词技术又决定了搜索引擎查找信息的准确度。以词为单位做为搜索引擎索引的key值，会大大提高搜索引擎搜索结果的准确性，同时减少了搜索过程中的计算量。目前存在的分词算法主要分为基于字符串匹配法、基于统计的分词法以及基于理解的分词法三大类。通过对现有分词算法的研究与理解以及字典机制的学习，了解不同算法及词典的优缺点，结合汉语词条长度出现频率，提出了基于首字hash的匹配算法及基于首字最长词条匹配算法及其改进算法。经过实践验证，算法很大程度上减少了时间复杂度，提高了分词速度，具有较好的实用价值。文章最后在对Nutch自带分词技术的理解基础上，加入中文分词插件，通过验证进一步

3、说明了中文分词对搜索引擎的重要性。关键词：Nutch；搜索引擎；中文分词；首字hashStudyandImplementationonChineseWordSegmentationAlgorithmofSearchEngineBasedonNutchAbstractWiththerapiddevelopmentofInternettechnology,networkinformationresourcesgrowexponentially.Itisevenmoreimportantthathowtopickupvaluableinformationfastanda

4、ccuratelyfrommassdata.Theemergenceofsearchenginesolvesthedifficultiesofuserstoretrieveinformationeffectively.TheChinesewordsegmentationtechnologydeterminestheaccuracyofsearchenginetofindinformation.UsewordasaunitasaKeyvalueofthesearchengineindex,itwillgreatlyenhancetheaccuracyofsearch

5、enginesresults,whilereducingthecomputationalsearchprocess.Existingsegmentationalgorithmconsistsofstring-basedmatchingmethod,sub-lexicalbasedonthestatisticalandsub-lexicalbasedonunderstanding.Afterstudyingtheexistingsegmentationalgorithmandlearningdictionarymechanism,understandtheadvan

6、tagesanddisadvantagesofdifferentalgorithmsanddictionaries.CombinedwiththelengthofChinesetermfrequency,proposematchingalgorithmsbasedonthefirstwordhashandthelongesttermandimprovedalgorithm.Afterproven,thealgorithmhasconsiderablyreducedthetimecomplexity,whichhaspracticalvalue.Finally,ba

7、sedontheunderstandingofNutchownsegmentationtechnology,addingchinesesegmentationplugin.Afterverified,itfurtherillustratestheimportanceofchinesesegmentationonsearchengines.Keywords：Nutch;Searchengine;Chinesewordsegmentation;FirstcharacterhashDirectedby:Prof.LIMeianApplicantforMasterdegr

8、ee:MA