搜索引擎关键技术-文本处理

《搜索引擎关键技术-文本处理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、网络搜索引擎关键技术——文本处理主要内容本讲稿对搜索引擎的关键技术进行了概述，着重讨论了信息预处理技术中的文本处理。一.搜索引擎的关键技术信息收集和存储技术包括两种方式：人工和自动。人工方式采用传统的信息收集、分类、存储、组织和检索的方法。自动方式通常是由网络机器人来完成的。一般来说，人工方式收集信息的准确性要远优于“网络机器人”，但其收集信息的效率及全面性低于“网络机器人”。2.信息预处理技术信息预处理系统的主要工作是从抓取的网页中提取能够代表网页的属性，并将这些属性组成网页的对象，然后根据一定的相关度算法进行

2、计算，得到每一个网页针对页面内容及链接每一个关键词的相关度，并用这些信息建立索引数据库。关键词的提取重复或转载网页的消除链接分析网页重要程度的计算3.信息索引技术信息索引就是创建文档信息的特征记录，以便用户能够快速地检索到所需信息。信息语词切分和语词词法分析进行词性标注及相关的自然语言处理建立检索项索引检索结果处理技术二.文本处理文本处理是指将网络爬虫搜集到的文本信息进行预处理，以便进行网络信息检索的下一个流程——索引处理。网页噪声去除待处理网页干净网页词汇分析词序列词干提取排除停用词有用词序列关键词HTML文档

3、预处理流程文本处理的过程包括如下5个步骤：文本的词法分析无用词汇的删除词干提取索引词条/词干的选择构造词条的分类结构1.词法分析词法分析的过程是将字符串转换成词条的过程，因此词法分析的主要目的就是识别文本中的词条。关于词法分析，中英文存在较大的区别，英文单词有空格分隔，易于识别，而中文文本以句子为自然分隔单位，要提取出词语来，需要复杂的分词技术。在对英文进行分词的过程中，除了空格分隔符，还有几种特殊的情况要处理：数字、连字符、标点符号和字母的大小写。数字数字一般不作为索引词，因为如果没有上下文的联系，它们的含义是

4、模糊不清的。现在常用的做法是保留一些专门指出的（通过与正规表达式的匹配）数字，而将其他数字过滤掉。连字符对连字符来说，也有两难情况。一种方法是将连字符都忽略掉，例如state-of-the-art等同于stateoftheart。但是，有些带有连字符的单词本身是一个完整的单词，如gilt-edged。对于连字符的处理，目前常用的是首先采用一定的规则选出那些对词义有影响的连字符号，然后将其他连字符都过滤掉。标点符号对于文本中的标点符号，一般说来在词法分析过程中将被全部去除。但是，对于那些成为单词中一部分的标点符号来

5、说，又要慎重考虑是否删除标点。另外一种特殊情况是程序片段出现在文本中，这时就要区分变量x.id与xid了。这种情况下，标点符号应该保留。字母的大小写字母的大小写对于区分索引词条来说一般不是很重要，因此可以将文本中的所有词条都转换成大写或者小写。但是也存在特殊情况，例如对于描写UNIX命令的文档，由于大小写都是约定俗成的，因此用户并不希望改变文档中的大小写。对于此种情况，就要特殊处理。2.中文分词技术中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能

6、理解？其处理过程就是分词算法。与英文相比，中文词与词之间没有分界符，需要人为切分，而且汉语中存在大量歧义现象，对几个字分词可能有好多种结果，因此将中文分词技术专门提出来做详细总结。中文分词方式单字切分按照中文一个字、一个字地进行分词。以这种方式切分出来的词再进入索引，称为字索引。缺点：随着索引的增大，相应索引条目的内容会不断增大，严重影响效率。二分法二分法是指每两个字进行一次切分。该方法完全不考虑语义、语境，机械地对语句进行处理，不是很好的分词方式。词库分词该方法是用一个已经建立好的词的集合（按某种算法）去匹配目

7、标，当遇上集合中已经存在的词时，就将其切分出来，是一种较理想的中文分词方式。中文分词算法基于字符串匹配的分词方法该方法又叫做机械分词方法，基本思想是：截取一个字符串，把它与词典中的词条进行匹配，若在词典中找到对应的词，该字符串就被识别为一个词。按照扫描方向的不同，可分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可分为最大匹配和最小匹配；按照是否与词性标注过程相结合，可分为单纯分词方法和分词与标注相结合的一体化方法。正向最大匹配法FMM（ForwardMaximumMatchingmethod）主要思想：选取

8、包含6~8个汉字的符号串作为最大符号串，把最大符号串与词典中的单词条目相匹配，如果不能匹配，就削掉最右边一个汉字继续匹配，直到在词典中找到相应的单词为止。正向是指匹配方式从左向右。例：“计算机科学和工程”逆向最大匹配法BMM（BackwardMaximumMatchingmethod）其分词过程与正向最大匹配法相同，不同的是每次是从待处理语料的末尾开始处理，每次匹配不成功