欢迎来到天天文库
浏览记录
ID:59006670
大小:194.75 KB
页数:4页
时间:2020-09-15
《Httrack工具介绍与使用指南.docx》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、Httrack工具与使用指南1.HTTrack工具介绍HTTrack是一个网站镜像工具,本来是用来抓取网站做离线浏览用的。但是HTTrack的爬虫特性和搜索引擎蜘蛛爬虫非常的像,这也逐渐应用到SEO(搜索引擎优化)工作中。其实这两种看似不同的爬虫做的都是同样的工作,就是复制网站并存储下来(网站在搜索引擎中的网页快照就是被存储下来的内容)。HTTrackWebsiteCopier界面如下图所示:我们一般用HTTrackWebsiteCopier来对网站进行检测或测试,模拟爬虫对受保护服务的爬行、抓取、收
2、录,以来测试我们的防护设备对爬虫的防护。2.HTTrack工具使用第一步:创立项目的名称(工程名)第二步:选择操作方式,再点击“添加URL”,将我们的网站地址添加进去。第三步:进入“选项”,设定爬行和抓取规则等选项在选项中,取消使用代理进行FTP传输;进入“扫描规则”,为HTTrack程序设定爬行和抓取规则,HTTrack里面自带了一些,可以自己设置,也可以默认。这样的扫描规则搜索引擎也一定会有的,比如不收录.exe文件,zip文件等等。然后不收录一些特定的跟踪链接,如ad.doubleclick.n
3、et。你需要把一些搜索引擎爬虫不收录的特征加进去。然后在“搜寻”里面,很多的特征都是现在搜索引擎爬虫的特征:一般的搜索引擎不会接收cookies,因此测试时我们也将此项去掉。第四步:一般按照以上设置就可以,其他的默认就行。点击下一步:在此页面,我们不用选择任何项,直接点击完成就可以进行测试了,如下图此时,HTTrack开始对网页进行爬行,抓取。
此文档下载收益归作者所有