欢迎来到天天文库
浏览记录
ID:59285837
大小:14.50 KB
页数:1页
时间:2020-09-06
《黑马程序员Python教程:爬虫开发必学的8个技巧.doc》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、传智播客C/C++培训专家:爬虫开发必学的8个技巧现在,有越来越多所谓的“教程”来帮助我们提高爬虫的易用性。本人收集了一些在爬虫开发中容易出错和被难住的小问题,提供了参考的意见和想法,以便于帮助爬虫开发者。1.爬虫乱码(网址乱码、返回页面乱码、提交数据乱码)关于爬虫乱码有很多群友的各式各样的问题,不仅是中文乱码,还包括一些如日文、韩文、俄文、藏文之类的乱码处理因此确定源网页的编码2.含有验证码表单登陆属于post请求,即先向服务器发送表单数据,需要验证码的情况可以使用带验证码登陆的cookie解决3.使用代理适用情况:限制IP地址情况,最好的办法
2、就是维护一个代理IP池4.限制频率情况限制爬虫访问网站的频率来避免被网站禁掉5.“反盗链”加上Referer,伪装成浏览器6.自动化测试工具SeleniumSelenium是一款自动化测试工具。它能实现操纵浏览器,包括字符填充、鼠标点击、获取元素、页面切换等一系列操作7.验证码识别利用开源的Tesseract-OCR8.多线程抓取高并发提交采集效率
此文档下载收益归作者所有