欢迎来到天天文库
浏览记录
ID:25604985
大小:180.50 KB
页数:9页
时间:2018-11-21
《搜索引擎中文分词原理与实现.doc》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、搜索引擎中文分词原理与实现因为中文文本中,词和词之间不像英文一样存在边界,所以中文分词是一个专业处理中文信息的搜索引擎首先面对的问题,需要靠程序来切分出词。一、Lucene中的中文分词 Lucene在中处理中文的常用方法有三种,以“咬死猎人的狗”为例说明之: 单 字:【咬】【死】【猎】【人】【的】【狗】 二元覆盖:【咬死】【死猎】【猎人】【人的】【的狗】 分 词:【咬】【死】【猎人】【的】【狗】 Lucene中的StandardTokenizer
2、采用单子分词方式,CJKTokenizer采用二元覆盖方式。1、Lucene切分原理 Lucene中负责语言处理的部分在org.apache.lucene.analysis包,其中,TokenStream类用来进行基本的分词工作,Analyzer类是TokenStream的包装类,负责整个解析工作,Analyzer类接收整段文本,解析出有意义的词语。 通常不需要直接调用分词的处理类analysis,而是由Lucene内存内部来调用,其中: (1)在索引阶段,调用addDocum
3、ent(doc)时,Lucene内部使用Analyzer来处理每个需要索引的列,具体如下图: 图1Lucene对索引文本的处理 IndexWriterindex=newIndexWriter(indexDirectory, newCnAnalyzer(), //用于支持分词的分析器 !i
4、ncremental, IndexWriter.MaxFieldLength.UNLIMITED); (2)在搜索阶段,调用QueryParser.parse(queryText)来解析查询串时,QueryParser会调用Analyzer来拆分查询字符串,但是对于通配符等查询不会调用Analyzer。 Analyzeranalyzer=newCnAnalyzer();
5、 //支持中文的分词 QueryParserparser=newQueryParser(Version.LUCENE_CURRENT,"title",analyzer); 因为在索引和搜索阶段都调用了分词过程,索引和搜索的切分处理要尽量一致,所以分词效果改变后需要重建索引。 为了测试Lucene的切分效果,下面是直接调用Analysis的例子: Analyzeranalyzer=newCnAnalyzer(); /
6、/创建一个中文分析器 TokenStreamts=analyzer.tokenStream("myfield",newStringReader("待切分文本")); //取得Token流 while(ts.incrementToken()){ //取得下一个词 System.out.println("token: "+ts); }2、Lucene中的Analyzer 为了更好地搜
7、索中文,通过下图来了解一下在Lucene中通过WhitespaceTokenizer、WordDelimiterFilter、LowercaseFilter处理英文字符串的流程:图2Lucene处理英文字符串流程二、查找词典算法 词典格式可以是方便人工查看和编辑的文本文件格式,也可以是方便机器读入的二进制格式。词典的最基本文本文件格式就是每行一个词。在基于词典的中文分词方法中,词典匹配算法是基础。一般词典规模都在几十万词以上,所以为了保证切分速度,需要选择一个好的查找词典算法。1、标准Trie树
8、 一个数字搜索Trie树的一个节点只保留一个字符,如果一个单词比一个字符长,则包含第一个字符的节点有指针指向下一个字符的节点,依次类推。这样组成一个层次结构的树,树的第一层包括所有单词的第一个字符,树的第二层包括所有单词的第二个字符,依次类推,数字搜索树的最大高度是词典中最长单词的长度。比如:如下单词序列组成的词典(asatbebyheinisitofonorto)会生成如下图所示
此文档下载收益归作者所有