网络中的资源非常丰富

《网络中的资源非常丰富》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、目录目录1摘要3第一章引言4第二章搜索引擎的结构52.1系统概述52.2搜索引擎的构成52.2.1网络机器人52.2.2索引与搜索52.2.3Web服务器62.3搜索引擎的主要指标及分析62.4小节6第三章网络机器人73.1什么是网络机器人73.2网络机器人的结构分析73.2.1如何解析HTML73.2.2Spider程序结构83.2.3如何构造Spider程序93.2.4如何提高程序性能113.2.5网络机器人的代码分析123.3小节14第四章基于LUCENE的索引与搜索154.1什么是Lucene全文检索154.2Lucene的原理

2、分析154.2.1全文检索的实现机制154.2.2Lucene的索引效率154.2.3中文切分词机制17第28页共28页4.3Lucene与Spider的结合184.4小节21第五章基于TOMCAT的WEB服务器225.1什么是基于Tomcat的Web服务器225.2用户接口设计225.3.1客户端设计225.3.2服务端设计235.3在Tomcat上部署项目255.4小节25第六章搜索引擎策略266.1简介266.2面向主题的搜索策略266.2.1导向词266.2.3权威网页和中心网页276.3小节27参考文献28第28页共28页摘要

3、网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统结构，然后从网络机器人、索引引擎、Web服务器三个方面进行详细的说明。为了更加深刻的理解这种技术，本人还亲自实现了一个自己的搜索引擎——新闻搜索引擎。新闻搜索引擎是从指定的Web页面中按照超连接进行解析、搜索，并把搜索到的每条新闻进行索引后加入数据库。然后通过Web服务器接受客户端请求后从索引数据库中搜索出所匹配的新闻。本人在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了新闻搜索引擎的

4、实现代码来说明，图文并茂、易于理解。AbstractTheresourcesintheinternetareabundant,butitisadifficultjobtosearchsomeusefulinformation.Soasearchengineisthebestmethodtosolvethisproblem.Thisarticlefistintroducesthesystemstructureofsearchenginebasedontheinternetindetail,thengivesaminuteexplanati

5、onformSpidersearch,engineandwebserver.Inordertounderstandthetechnologymoredeeply,Ihaveprogrammedanewssearchenginebymyself.Thenewssearchengineisexplainedandsearchedaccordingtohyperlinkfromaappointedwebpage,thenindexseverysearchedinformationandaddsittotheindexdatabase.Then

6、afterreceivingthecustomers'requestsfromthewebserver,itsoonsearchstherightnewsformtheindexengine,Inthechapterofintroducingsearchengine,itisnotonlyelaboratethecoretechnology,butalsocombinewiththemoderncode,picturesincluded,easytounderstand.第28页共28页第一章引言面对浩瀚的网络资源，搜索引擎为所有网上冲

7、浪的用户提供了一个入口，毫不夸张的说，所有的用户都可以从搜索出发到达自己想去的网上任何一个地方。因此它也成为除了电子邮件以外最多人使用的网上服务。搜索引擎技术伴随着WWW的发展是引人注目的。搜索引擎大约经历了三代的更新发展：第一代搜索引擎出现于1994年。这类搜索引擎一般都索引少于1，000，000个网页，极少重新搜集网页并去刷新索引。而且其检索速度非常慢，一般都要等待10秒甚至更长的时间。在实现技术上也基本沿用较为成熟的IR（InformationRetrieval）、网络、数据库等技术，相当于利用一些已有技术实现的一个WWW上的应用

8、。在1994年3月到4月，网络爬虫WorldWebWorm(WWWW)平均每天承受大约1500次查询。大约在1996年出现的第二代搜索引擎系统大多采用分布式方案（多个微型计算机协同工作）来提高数据规模、响应