《山东建筑大学计算机网络课程设计《基于某Python地网络爬虫设计》.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、建筑大学课程设计成果报告题目：基于Python的网络爬虫设计课程：计算机网络A院（部）：管理工程学院专业：信息管理与信息系统班级：学生：学号：指导教师：完成日期：目录1设计目的12设计任务容13网络爬虫程序总体设计14网络爬虫程序详细设计14.1设计环境和目标分析14.1.1设计环境14.1.2目标分析24.2爬虫运行流程分析24.3控制模块详细设计34.3爬虫模块详细设计34.3.1URL管理器设计34.3.2网页下载器设计34.3.3网页解析器设计34.4数据输出器详细设计45调试与测试45.1

2、调试过程中遇到的问题45.2测试数据及结果显示56课程设计心得与体会57参考文献68附录1网络爬虫程序设计代码69附录2网络爬虫爬取的数据文档91设计目的本课程设计是信息管理与信息系统专业重要的实践性环节之一，是在学生学习完《计算机网络》课程后进行的一次全面的综合练习。本课程设计的目的和任务：1．巩固和加深学生对计算机网络基本知识的理解和掌握；2．培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力；3．提高学生进行技术总结和撰写说明书的能力。2设计任务容网络爬虫

3、是从web中发现,下载以及存储容，是搜索引擎的核心部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。参照开放源码分析网络爬虫实现方法，给出设计方案，画出设计流程图。选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的基本功能，界面适当美化。给出软件测试结果。3网络爬虫程序总体设计URL管理器数据输出器网页下载器网页解析器爬虫控制器在本爬虫程序中共有三个模块：1、爬虫调度端：启动

4、爬虫，停止爬虫，监视爬虫的运行情况2、爬虫模块：包含三个小模块，URL管理器、网页下载器、网页解析器。（1）URL管理器：对需要爬取的URL和已经爬取过的URL进行管理，可以从URL管理器中取出一个待爬取的URL，传递给网页下载器。（2）网页下载器：网页下载器将URL指定的网页下载下来，存储成一个字符串，传递给网页解析器。（3）网页解析器：网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的URL，这些URL被解析出来会补充进URL管理器3、数据输

5、出模块：存储爬取的数据4网络爬虫程序详细设计4.1设计环境和目标分析4.1.1设计环境IDE：pycharmPython版本：python2.7.134.1.2目标分析目标：从百度词条Python开始，以广度优先的方式，爬取相关联的若干词条网页的标题和简介（1）初始URL："baike.baidu./item/Python?sefr=ps"（2）词条页面URL格式：baike.baidu./item/%E8%87%AA%E7%94%B1%E8%BD%AF%E4%BB%B6（3）数据格式：标题——

6、dclass="lemmaWgt-lemmaTitle-title">

Python