面向问答类网站的垂直搜索引擎的研究与实现

《面向问答类网站的垂直搜索引擎的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、密级：保密期限：站贡却它火警硕士研究生学位论文学号：106203姓名：鎏盔专业：电王抖堂皇堇丕导师：韭瞳董学院：电王王猩堂瞳2013年1月12日独创性。或创新性)声明Y颦9IIIIIIl7lUN争

2、uunnIIIIIIl2UlIl5LIIIII㈣0㈣㈣m．．本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任

3、何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人签名：滥．本人承担一切相关责任。日期：丝l兰：!UI?关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。(保密的学位论文在解密后遵守此规定)保密论文注释：本学位论文属于保密在

4、年解密后适用本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。本人签名：导师签名：日期：塑!!：!!：!里Et期：鲨l墨：兰：12北京邮电大学硕士学位论文面向问答类网站的垂直搜索引擎的研究与实现摘要目前，互联网上的信息爆炸式增长，人们通过搜索引擎从海量信息中寻找自己想要的各方面信息，但通用搜索引擎对检索出的信息的准确性和相关性呈下降趋势，人们需要能够对特定行业的信息快速准确定位的垂直搜索引擎。近些年国内外兴起了众多问答类网站，与搜索引擎的通过机器获得结果不同，此类网站是用户基于自己的知识构成进行“一问多答”，同

5、时它又具有“针对性强”、“快速答疑"、“流量大”等特点，是用户提问题找答案的一种有效方式，但大部分的问答类网站只提供站内搜索，对问答类的垂直搜索引擎的实践却不是很成熟，这就限制了用户针对特定问题的搜索，面向特定主题的问答类搜索引擎能够满足用户对专业问题的需要。本文以汽车问答网页作为实验数据，在对搜索引擎关键技术进行深入研究基础上，完成了一个面向问答类网站的垂直搜索引擎，论文的主要工作包括以下几点：1)通过对问答类站点特性的分析，提出了问答类站点重要性的动态评价机制，解决了对不同问答类站点来源同等对待的问题，根据该机制对空间向量

6、模型中特征词权重的计算公式TFIDF和空间向量模型的表示进行了改进，使其更具有主题倾向性。l面向问答类网站的垂直搜索弓l擎的研究与实现2)针对问答的搜索引擎主题爬虫的实现。研究了主题爬虫的一般模型，在链接过滤器方面提出了基于Nutch配置文件定制链接抓取规则的方法，在主题过滤器方面，采用文档频率算法确立了主题词库，采用人工专家和基于搜索引擎的初始种子确立方法，主题相关度判定采用了文本分类方法，并对文本分类效果进行了验证。3)针对问答的信息抽取模块。提出了基于网页结构和通过问答站点链接控制具体的信息抽取方式相结合的方法，中文分词

7、部分，采用了庖丁分词器。4)针对问答的索引和检索模块。提出增加问答信息索引域，强调搜索重点，并依据问答类站点重要性动态评价机制，对索引域的权重因子进行了设定，使问答引擎排序结果更趋合理。最后通过Nutch框架对问答类垂直搜索引擎进行了实现，实验分析表明爬虫抓取性能和搜索引擎的查询查准率都有所提升。分类关键词：垂直搜索问答类网站主题爬虫信息抽取Nutch文本Il北京邮电大学硕士学位论文面向问答类网站的垂直搜索引擎的研究与实现RESEARCHANDIⅣⅢLEM匣N11ATIONOFAVERTICALSEARCHENGINEFORQ

8、UIZWEBSITEABSTRACTCurrently,withtheproliferationofinformationontheInternet，peoplewanttofindinformationfromthemassofinformationthroughasearchengine，butthegeneralsearchengine‘sproblemismoreandmoreobvious，theaccuracyandrelevanceoftheinformationwasdeclined，peopleneedfin

9、dspecificinformationquicklyandaccuratelywithverticalsearchengine．Numerousquizwebsiteemergedinrecentyears，differfromsearchenginegetresultst