c 语言编写一个网络蜘蛛

c 语言编写一个网络蜘蛛

ID:18585512

大小:82.00 KB

页数:19页

时间:2018-09-19

c 语言编写一个网络蜘蛛_第1页
c 语言编写一个网络蜘蛛_第2页
c 语言编写一个网络蜘蛛_第3页
c 语言编写一个网络蜘蛛_第4页
c 语言编写一个网络蜘蛛_第5页
资源描述:

《c 语言编写一个网络蜘蛛》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库

1、用C语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址作者:zhoulifa来源:http://bbs.chinaunix.net/viewthread.php?tid=821361可能大家经常要去互联网上搜索特定的内容,比如收集大量邮件地址,如果用google之类的搜索引擎是没法实现这种特定功能的,所以用C语言来写一个吧。它的功能就是不断去取得网络上的页面,然后分析出网页上出现的邮件地址保存下来。象个蜘蛛一样,从网络上一个网页爬向另一个网页,不停止地搜索邮件地址。即:分析程序运行时的参数,把各网页地址作为根节点加入到链表,然后

2、从链表头开始处理各节点对整个链表的处理是先处理兄弟节点,流程图如下:然后再处理各节点的子节点,流程图如下:当然,这里采用了递归调用方法,处理子节点的数据时和处理整个链表一样循环处理就是了。/************关于本文档*********************************************filename:用C语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址*purpose:一个邮址搜索程序的雏形*wroteby:zhoulifa(zhoulifa@163.com)周立发(http://zhoulifa

3、.bokee.com)Linux爱好者Linux知识传播者SOHO族开发者最擅长C语言*datetime:2006-08-3121:00:00*Note:任何人可以任意复制代码并运用这些文档,当然包括你的商业用途*但请遵循GPL*Hope:希望越来越多的人贡献自己的力量,为科学技术发展出力*********************************************************************/good,noloosening.6.5.2DCSsidewiringtocompletetheenc

4、losureandtheothersideafterthewiringiscompleted,DCSwithintheenclosurewhenthepowermoduleshouldbeloosenedorthepowergoesout.6.6lowvoltagecableterminalmaking6.6.1first程序在运行的过程中要建立一个树形链表结构,结构图如下:程序启动时分析所带参数,把各参数加入到根网页节点,如果有多个参数则这个根网页有兄弟节点。然后从根节点开始处理这一级上各节点,把各节点网页上出现的网页链接加

5、到该节点的子节点上,处理完当前这一级后处理子节点这一级。当然这只是一个原理展示程序,并没有进行优化。这个程序的main函数流程图如下:源代码如下:#include#include#include#include#include#include#include#include#include#include#include

6、ocale.h>#defineUSERAGENT"Wget/1.10.2"#defineACCEPT"*/*"#defineACCEPTLANGUAGE"zh-cn,zh;q=0.5"#defineACCEPTENCODING"gzip,deflate"#defineACCEPTCHARSET"gb2312,utf-8;q=0.7,*;q=0.7"#defineKEEPALIVE"300"#defineCONNECTION"keep-alive"#defineCONTENTTYPE"application/x-www-form

7、-urlencoded"#defineMAXFILENAME14good,noloosening.6.5.2DCSsidewiringtocompletetheenclosureandtheothersideafterthewiringiscompleted,DCSwithintheenclosurewhenthepowermoduleshouldbeloosenedorthepowergoesout.6.6lowvoltagecableterminalmaking6.6.1first#defineDEBUG1typedefs

8、tructwebnode{char*host;/*网页所在的主机*/intport;/*网络服务器所使用的端口*/char*dir;/*网页所在的目录*/char*page;/*网页文件名*/char*file;/*本地保存的文件名*/charIsHandled;/*是否处理

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。