垂直搜索引擎在烟草行业的研究与应用

《垂直搜索引擎在烟草行业的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ZSTUZhejiangSci-TechUniversity硕士学位论文Master’sThesis中文论文题目:垂直搜索引擎在烟草行业的研究与应用英文论文题目:ResearchandApplicationofVerticalSearchEngineintheTobaccoIndustry学科专业:计算机科学与技术作者姓名：陈龙飞指导教师：何利力完成日期:2015年12月25日浙江理工大学学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加Ｌ乂标注和致谢的

2、地方外，也不包含为获论文中不包含其他人邑经发表或撰写过的巧究成果，得浙江理工大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均邑在论文中作了明确的说明并表不谢意。学位论文作者签名：曰签字日期：年Ｊ月学位论文版权使用授权书本学位论文作者完全了解浙江理工大学有权保留并向国家有关部口或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权浙江理工大学可Ｌ乂将学位论文的全部或部分内容编入有关数据库进行检索和传播，可采用影印、缩印或扫描等复

3、制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：签字日期：八ｔ年月日ｉｙｆ＾导师签名：？日签字日期：奔月＾浙江理工大学硕士论文垂直搜索引擎在烟草行业的研究与应用摘要互联网的飞速发展一方面给我们提供了极其丰富的信息，另一方面也加大了信息过滤的难度。互联网用户越来越依赖于搜索引擎来缩小信息检索的范围，从而更高效地获取自己感兴趣的内容。但是，用户的期望结果是小而精，通用搜索引擎追求的目标是大而全，与用户的特定需求南辕北辙。在这种背景下，垂直搜索引擎应运而生

4、。如果把互联网当作一个服务提供者，则其成熟的一条重要标志就是由通用化向订制化发展，垂直搜索引擎的出现即是这种转换的具体表现，也是搜索引擎未来的发展方向。首先，本文结合互联网的发展史，综述了垂直搜索引擎的出现背景及意义。以烟草行业为例，深入分析了企业日益增长的信息检索需求与通用搜索引擎固有局限性之间的矛盾，论证了垂直搜索引擎应用于企业的必要性与可行性。然后结合笔者在烟草企业的实习经历，设计并实现了一种针对烟草行业的垂直搜索引擎。在对垂直搜索引擎的整体架构和关键技术充分研究的基础上，提出了一种“三度过滤”的主题判别方法，

5、并提高了PageRank算法在实际应用中的适应性。然后对开源项目Lucene进行了本地化改造，最终开发出一款适用于烟草行业的垂直搜索引擎。本文主要研究内容如下：（1）在研习搜索引擎典型架构的基础上，详细阐述了中文分词、倒排索引和链接分析三项关键技术的实现原理。通过横向对比总结出了各种搜索模型的优缺点，以布尔模型实现基础的文本筛选，以空间向量模型实现高级的匹配运算，从而建立起符合烟草行业特点的搜索模型，兼具简单易行和支持相关性评分两方面优势。（2）编程模拟了PageRank算法的迭代过程，对出链-入链矩阵中的黑洞问题和

6、PageRank向量的数据失衡问题进行了深入的分析。黑洞问题会造成部分网页垄断PageRank得分，使评分结果有失客观性与科学性；而数据失衡问题会造成迭代过程的收敛速度过慢，无法应用于大规模的计算。本文通过引入马尔科夫链理论对模型加入两次随机性调整，使之更符合上网者随机浏览网页的过程，从i浙江理工大学硕士论文垂直搜索引擎在烟草行业的研究与应用根本上杜绝了黑洞问题的产生并加快了PageRank的收敛速度。（3）提出了一种“三度过滤”的主题判别方法。借助烟草行业的专业词库，在主题判别的过程中将预判因子、元信息因子、词库因

7、子纳入主题相关度的计算，有效过滤了与主题无关的网页，大大提高了搜索引擎的查准率。另一方面，该算法得出的预判因子还用于调整URL队列的优先级，帮助主题爬虫优先抓取主题相关度更高的网页。（4）通过对Lucene源代码的本地化改造，实现了开源项目与系统开发的兼容性整合。结合原始的空间向量模型，对影响网页欢迎度与主题相关度的各项因子进行调整，将查询词的词频、词类、通用性以及文档长度纳入综合统计，并对不同的查询域进行差异化加权，最终得出了符合烟草行业特点的评分公式。关键词：垂直搜索，PageRank算法，主题判别，网络爬虫，文

8、档排序ii浙江理工大学硕士论文垂直搜索引擎在烟草行业的研究与应用AbstractTherapiddevelopmentoftheInternetprovidesuswiththeextremelyabundantinformationononehand,ontheotherhanditalsoincreasethedifficultyofinf