ikanalyzer分词器及lucene使用ikanalyzer分析

《ikanalyzer分词器及lucene使用ikanalyzer分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ftdoc3.2.8ext-Stopword.diIKAnalyzer.cfg.xIKAnaly2er3.2.8.cmljar器V3.2.8使闻孚册.pdfIKAnalyzer版本Jar包下载IKAnalyzer3.2.8_bin下载地址：http://code.google.conVp/ik-analyzer/downloads/detair?name=IKAnalyzer3.2.8o/o20bin.zip&can=2&q=计算抗►新力［卷(F:)►LUCEN字习►IKAnalyzer3.2.8_bin•(F)编辑(E)查菪(V)

2、工具(T)輅助(H)织▼包含到库中▼共享▼新建文件夹I计算机&本it&ea(c:)新加卷(D:)u,新加卷(E:)uj新力港(F:)aME(G:)DVDRW驱动BD-ROM驱动下载后包含说明及APr文档(在目录doc3.2.8屮)。源码下载http://c()de.google.com/p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.80/o20source.zip&can=2&q=笤図溲斤.url1曰正乂班皮.u门do...IKAnalyzer3.2.8sourc...X由Ind

3、exof/pub/software/"./zerWikiIssuesSourceExporttoGitHubSearch□forrzer3-2.8源码starredthisdownloadFile:Description:SHA1Checksum:prIKAnalyzer3.2.8source.zip11mb7d0cc98e2e0cd9d64d58731d779f9d7d2a79005eWhafsthis?IKSegmentation浅析（纯IK分饲〉IKSegmentation是IK屮独立的分词器，和lucene没有关系。不继承，

4、不扩展，不使用lucene相关的类。IK主分词器构造函数*IK主分词器构造函数*@paraminput*@paramisHaxWordLength当力true时，分词器进行最大词长切分*/publicIKSegmentation(ReaderinputbooleanisMaxWordLength){this.input=input;segmentBuff=newchar[BUFF_SIZE];context=newContext(segmentBuffisMaxWordLength);segmenters=Configuration

5、.LoadSegmenter^);}Readerinput是一个输入流，用于读取文件内容。IKSegmentation的构造器，作丫3个事1、newContext(segmentBuff,isMaxWordLength)创建上下文对象Contextcontext=newContext(segmentBuff,isMaxWordLength);Contex主要是存储分词结果集和记录分词处理的游标位置。2、Configuration.LoadSegmenter()加载词典、创建分词器Configuration.Load5egmenter

6、()方法实现在加载词典，创建分词器详情如下。*初始化子分词器实现*(目前暂时不考虑配置扩展)*@returnList*/publicstaticListloadSegmenter(){//初始化词典单例，如果查看getlnstance()发现里面有祥细的初始化词典的相关方法Dictionary,getlnstance^;Listsegmenters=newArrayList(4);//处理数量词的子分词器segmenters.add(ne

7、wQuantifierSegmenter());//处理中文词的子分词器segmenters.add(newC3KSegmenter());//处理字母的子分词器segmenters.add(newLetterSegmenter());returnsegmenters;}得到Lexeme这是IK分词器的语义单元对象，相当于Lucene中的Token词元对象。由于3.0版本被设计为独立于Lucene的Java分词器实现，因此它需要Lexeme来代表分词的结果。调用的next()方'法，会返回Lexeme对象，如果没有下一•个分词结果，

8、会返回mill。源码如下*获取下一个语义单元*@return没有更多的词元，则返回null*@throwsIOException*/publicsynchronizedLexemenext()throwsIOException{if(