python3爬虫总结(共4篇)

《python3爬虫总结(共4篇)》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了适应公司新战略的发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个人素质的培训计划python3爬虫总结(共4篇)　　学用python也有3个多月了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写googlemusic的抓取脚本的，结果有了强大的gmbox，也就不用写了。　　-　　这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，再加上simplecd这个半爬虫半网站的项目，累积不少爬虫抓站的经验，在此

2、总结一下，那么以后做东西也就不用重复劳动了。　　-　　1.最基本的抓站　　importurllib2　　content=('http://XXXX').read()　　-　　2.使用代理服务器　　这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。　　importurllib2　　proxy_support=目的-通过该培训员工可对保安行业有初步了解，并感受到安保行业的发展的巨大潜力，可提升其的专业水平，并确保其在这个行业的安全感。为了适应公司新战略的发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个人素质的培训

3、计划　　({'http':'http://:XXXX'})　　opener=_opener(proxy_support,)_opener(opener)　　content=('http://XXXX').read()　　-　　3.需要登录的情况　　登录的情况比较麻烦我把问题拆分一下：　　-　　cookie的处理　　importurllib2,cookielib　　cookie_support=(())opener=_opener(cookie_support,)_opener(opener)　　content=('http://XXXX').read()　　是的

4、没错，如果想同时用代理和cookie，那就加入proxy_support然后operner改为　　opener=_opener(proxy_support,cookie_support,)　　-　　表单的处理　　登录必要填表，表单怎么填？首先利用工具截取所要填表的内容　　比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包目的-通过该培训员工可对保安行业有初步了解，并感受到安保行业的发展的巨大潜力，可提升其的专业水平，并确保其在这个行业的安全感。为了适应公司新战略的发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个

5、人素质的培训计划　　这个我就举个例子好了，以verycd为例，先找到自己发的POST请求，以及POST表单项：　　-　　可以看到verycd的话需要填　　username,password,continueURI,fk,login_submit这几项，其中fk是随机生成的，需要从网页获取，也就是说得先访问一次网页，用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写，login_submit是固定的，这从源码可以看出。还有username，password那就很显然了。　　-　　好的，有了要填写的数据，我们就要生成postdata　

6、　importurllib　　postdata=({　　'username':'XXXXX',　　'password':'XXXXX',　　'continueURI':'/',　　'fk':fk,　　'login_submit':'登录'　　})　　-　　然后生成http请求，再发送请求：目的-通过该培训员工可对保安行业有初步了解，并感受到安保行业的发展的巨大潜力，可提升其的专业水平，并确保其在这个行业的安全感。为了适应公司新战略的发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个人素质的培训计划　　req=(　　url='http:/

7、//signin/*//',data=postdata　　)　　result=(req).read()　　-　　伪装成浏览器访问　　某些网站反感爬虫的到访，于是对爬虫一律拒绝请求　　这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现#…　　headers={　　'User-Agent':'Mozilla/(Windows;U;WindowsNT;en-US;rv:)Gecko/XX1201Firefox/'　　}　　req=(　　url='http:///signin/*//',data=postdata,　　headers=header

8、s　　)　　#...