搜索引擎的研究与实现方案

《搜索引擎的研究与实现方案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、搜索引擎的研究与实现方案（WORD版完整可编辑,需更多资料请联系）摘要网络中的资源非常丰富，但是如何有效地找到0己需要的信息却是一件困难的事情。网络搜索引擎应运而生。本文首先详细介绍了网络搜索引擎的系统结构，然后从网页信息抓取、网页内容分析、网页索引建立、用户检索与结果排序等方面进行详细的说明。为了更加深刻的理解这种技术，本人还亲自实现了一个自己的搜索引擎，能够实现网页内容的抓取和搜索功能，也能够自己添加内容并显示在搜索结呆屮。网络搜索引擎根据初始配置，口动从网络上抓取信息并处理，将提取到的信息结构化，然后建立索引。然后通过web服务器接收用户请求，在索引库中找到相关结果并排序，最终通过

2、页面的形式呈现给用户。本人在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了搜索引擎的实现代码来说明，图文并茂、易丁理解。关键词：搜索引擎；网络；LuceneResearchandimplementationofsearchengineAbstractTheresourcesintheinternetarcabundant,butitisadifficultjobtosearchsomeusefulinfbrmation.Soasearchengineisthebestmethodtosolvethisproblem.Thisarticlefistintroducesthesyste

3、mstructureofsearchenginebasedontheinternetindetail,thengivesaminuteexplanationformSpidersearch,engineandwebserve匚Inordertounderstandthetechnologymoredeeply,Ihaveprogrammedawebsearchenginebymyself.Thenewssearchengineisexplainedandsearchedaccordingtohyperlinkfromaappointedwebpage,thenindexeseveryse

4、archedinformationandaddsittotheindexdatabase.Thenafterreceivingthecustomers1requestsfromthewebserver,itsoonsearchestherightpagesformtheindexengine。Inthechapterofintroducingsearchengine,itisnotonlyelaboratethecoretechnology,butalsocombinewiththemodemcode,picturesincluded,easytounderstand.Keywords:

5、searchengine;network;Luccnc••目录•••••••••••••••••••••••••••••••••••••••••••••1引言2搜索引擎研究2.1搜索引擎发展历史2.1.1分类目录时代.….…2.1.2文本检索时代.・・・・・・.2.1.3整合分析时代…••…2.1.4用户中心时代2.2搜索引擎的结构2.2.1Web搜索引擎体系2.2.2网络机器人2.2.3网页分析器2.2.4网页索引器2.2.5网页搜索器2・3现代搜索引擎的主耍技术2.3.1倒排索引技术……2.3.2分布式技术2.4小结3开发平台和技术3.1Java编程语§3.2MyEclipse3.3

6、Tomcat••••••••••••••••••••••••••••••3.4.1什么是Lucene3.4.2索引和搜索3.4.3lucene能做什么.…3.4.4lucene的工作方式3.5Spring3.6Sti*uts2••••••••••«•••••••••••••3.7Mybatis4搜索引擎的总体设计4.1系统概述4.2系统需求4.3系统结构：2.4小结5网络机器人的实现5.1什么是网络机器人…...i••..11..1..2..2..2..2..2..2..2..2..3..4..5..5..6..6..6..7..8..8..9..91010101011111212131

7、313131415153.2网络机器人结构分析5.2.1如何解析HTML165.2.2工作流程175.3网络机器人的实现175.3.1实现说明175.3.2HTML页面结构175.3.3代码分析185.4内容处理185.4.1正文提取195.5小结226网页索引程序的实现236.1索引程序简介236.2准备工作236.2.1分词236.2.2特征值抽取246.3Lucene索弓1器266.3.1实现原理276.3.2存储结构276.