网络爬虫的设计实现分析(（完整版）)

《网络爬虫的设计实现分析(（完整版）)》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、WORD文档可编辑网络爬虫的设计与实现技术资料专业分享WORD文档可编辑摘要网络爬虫将下载的网页和收集到的网页信息存储在本地数据库中以供搜索引擎使用，它是一个专门从万维网上下载网页并分析网页的程序。随着网络的快速发展，人们对搜索引擎的要求也越来越高，而网络爬虫的效率直接影响着搜索引擎的质量。本课题研究的是通用网络爬虫，它是从一个或若干个初始网页的链接开始进而得到一个链接队列。伴随着网页的抓取又不断从抓取到的网页中抽取新链接放入到链接队列中，直到爬虫系统满足了停止条件。该课题主要涉及到了缓冲池技术，多线程技术，套接字技术，HTTP和SSL协议，正则表达式，Linux网络编程技术，PHP+Apac

2、he的使用等相关技术。本说明书叙述的网络爬虫是以LinuxC实现的，加以PHP语言编写的界面使用户更加方面的操作，利用Shell脚本和Apache服务器使得爬虫系统和界面很好的结合在一起。关键词：网络爬虫缓冲池正则表达式SSL协议多线程技术资料专业分享WORD文档可编辑目次1引言11.1课题选题背景11.2课题研究的意义22需求分析32.1功能需求分析32.2系统性能分析43系统设计53.1系统工作流程图53.2数据结构设计63.3系统各功能流程图74系统实现104.1相关技术分析104.2系统功能模块的实现115测试与结果17结论23致谢24参考文献25技术资料专业分享WORD文档可编辑1引

3、言随着网络技术日新月异的发展，互联网俨然已成为信息的最大载体。为了能够在浩瀚的信息海洋中精确地查询用户所需要的信息，搜索引擎技术应运而生。目前比较流行的搜索引擎是Google和百度，他们拥有着庞大的用户数量。作为搜索引擎的重要组成部分，网络爬虫的设计直接影响着搜索引擎的质量。网络爬虫是一个专门从万维网上下载网页并分析网页的程序。它将下载的网页和采集到的网页信息存储在本地数据库中以供搜索引擎使用。网络爬虫的工作原理是从一个或若干初始网页的链接开始进而得到一个链接队列。伴随着网页的抓取又不断从抓取到的网页里抽取新的链接放入到链接队列中，直到爬虫程序满足系统的某一条件时停止。本说明书对课题背景进行简

4、单介绍的同时，又对研究网络爬虫的意义进行了叙述，在此基础上，详细的介绍来了利用C语言在linux系统上开发出多线程网络爬虫的设计步骤。1.1课题选题背景搜索引擎是用户在网上冲浪时经常使用的一种工具，毫无疑问，每个用户都可以通过搜索引擎得到自己所需要的网络资源。搜索引擎一词在互联网领域得到广泛的应用，但是每个地区对它又有着不同的理解。在一些欧美国家搜索引擎常常是基于因特网的，它们通过网络爬虫程序采集网页，并且索引网页的每个词语，也就是全文检索。而在一些亚洲国家，搜索引擎通常是基于网站目录的搜索服务。总的来说：搜索引擎只是一种检索信息的工具。它的检索方式分为以下两种：一种是目录型的方式，爬虫程序把

5、网络的资源采集在一起，再根据资源类型的不同而分成不同的目录，然后继续一层层地进行分类，人们查询信息时就是按分类一层层进入的，最后得到自己所需求的信息。另一种是用户经常使用的关键字方式，搜索引擎根据用户输入的关键词检索用户所需资源的地址，然后把这些地址反馈给用户。技术资料专业分享WORD文档可编辑1.2课题研究的意义网络在我们的生活中越来越重要，网络的信息量也越来越大，研究该课题可以更好的理解网络爬虫在搜索引擎中的作用以及网络爬虫的原理。现实中，一般的服务器大多是linux系统该课题更好的配合了linux系统上运行爬虫程序，加上界面更容易操作。21世纪是一个讲究信息安全的时代，于是网站上出现了越

6、来越多的https(超文本传输安全协议)协议的链接,该课题很好的利用了SSL协议解决了下载https协议链接的问题。设备的内存是珍贵的，如何更加合理有效地利用内存提高内存的利用率是值得研究的，该课题为了解决内存的利用使用了内存池来提高内存的使用率。技术资料专业分享WORD文档可编辑2需求分析网络爬虫是一个专门从万维网上下载网页并分析网页的程序。它将下载的网页和收集到的信息存储在本地数据库中以供搜索引擎使用。网络爬虫的工作原理是从一个或若干初始网页的链接开始进而得到一个链接队列。伴随着网页的抓取又不断从抓取到的网页里抽取新的链接放入到链接队列中，直到爬虫程序满足系统的某一条件时停止。它是搜索引擎

7、的重要组成部分。2.1功能需求分析(1)网页下载功能①能够下载任何http协议和https协议的链接的网页。②构造HTTP请求中的GET请求。③分析HTTP响应请求。(2)网页分析功能①提取网页标题。②提取网页关键字。③提取网页摘要。④提取网页链接并统计数量。⑤把新链接加入到URL队列。(3)内存池功能①能够分配固定大小的内存。②能够回收内存对象。③能够释放内存对象。④能够销毁内存池。⑤能够分配固