毕业论文--搜索引擎的研究与实现

《毕业论文--搜索引擎的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、太原理工大学毕业设计(论文)用纸搜索引擎的研究与实现摘要网络中的资源非常丰富，但是如何有效地找到自己需要的信息却是一件困难的事情。网络搜索引擎应运而生。本文首先详细介绍了网络搜索引擎的系统结构，然后从网页信息抓取、网页内容分析、网页索引建立、用户检索与结果排序等方面进行详细的说明。为了更加深刻的理解这种技术，本人还亲自实现了一个自己的搜索引擎，能够实现网页内容的抓取和搜索功能，也能够自己添加内容并显示在搜索结果中。网络搜索引擎根据初始配置，自动从网络上抓取信息并处理，将提取到的信息结构化，然后建立索引。然后通过web服务器接收用户请求，在索引库中找到相关

2、结果并排序，最终通过页面的形式呈现给用户。本人在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了搜索引擎的实现代码来说明，图文并茂、易于理解。关键词：搜索引擎；网络；Luceneii太原理工大学毕业设计(论文)用纸ResearchandimplementationofsearchengineAbstractTheresourcesintheinternetareabundant,butitisadifficultjobtosearchsomeusefulinformation.Soasearchengineisthebestmethodtosolve

3、thisproblem.Thisarticlefistintroducesthesystemstructureofsearchenginebasedontheinternetindetail,thengivesaminuteexplanationformSpidersearch,engineandwebserver.Inordertounderstandthetechnologymoredeeply,Ihaveprogrammedawebsearchenginebymyself.Thenewssearchengineisexplainedandsearc

4、hedaccordingtohyperlinkfromaappointedwebpage,thenindexeseverysearchedinformationandaddsittotheindexdatabase.Thenafterreceivingthecustomers'requestsfromthewebserver,itsoonsearchestherightpagesformtheindexengine。Inthechapterofintroducingsearchengine,itisnotonlyelaboratethecoretechn

5、ology,butalsocombinewiththemoderncode,picturesincluded,easytounderstand.Keywords:searchengine;network;Luceneii太原理工大学毕业设计(论文)用纸目录摘要iAbstractii1引言12搜索引擎研究22.1搜索引擎发展历史22.1.1分类目录时代22.1.2文本检索时代22.1.3整合分析时代22.1.4用户中心时代22.2搜索引擎的结构22.2.1Web搜索引擎体系结构22.2.2网络机器人32.2.3网页分析器42.2.4网页索引器52.2.5网

6、页搜索器52.3现代搜索引擎的主要技术62.3.1倒排索引技术62.3.2分布式技术62.4小结73开发平台和技术83.1Java编程语言83.2MyEclipse93.3Tomcat93.4Lucene103.4.1什么是Lucene103.4.2索引和搜索103.4.3lucene能做什么103.4.4lucene的工作方式113.5Spring113.6Struts2123.7Mybatis124搜索引擎的总体设计134.1系统概述134.2系统需求134.3系统结构：134.4小结145网络机器人的实现155.1什么是网络机器人155.2网络机器

7、人结构分析15iv太原理工大学毕业设计(论文)用纸5.2.1如何解析HTML165.2.2工作流程175.3网络机器人的实现175.3.1实现说明175.3.2HTML页面结构175.3.3代码分析185.4内容处理185.4.1正文提取195.5小结226网页索引程序的实现236.1索引程序简介236.2准备工作236.2.1分词236.2.2特征值抽取246.3Lucene索引器266.3.1实现原理266.3.2存储结构276.3.3提高性能286.4实现286.4.1代码说明286.5小结307网络搜索程序和客户端的实现317.1网络搜索程序简介

8、317.2检索317.3排序317.3.1Jaccardcoefficient3