python爬虫批量下载论坛图片

《python爬虫批量下载论坛图片》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、jmppok的专栏网络连接世界软件创造未来[置顶]Python爬虫批量下载论坛图片分类：python2013-11-2018:151032人阅读评论(0)收藏举报python爬虫图片原创文章，欢迎转载。转载请注明出处：http://blog.csdn.net/jmppok/article/details/16847697前几天心血来潮，写了个Python程序，用来下载论坛上的图片。具体作用请小伙伴们自己开发(你懂的)...Python2.7版本使用方法：httpdown_p.pyurl例如下载“安卓论坛壁纸”可以通过命令：httpdown_p.pyht

2、tp://bbs.hiapk.com/forum-37-1.html1.原理包括三个py文件：httpdown_p.pyanalyseurl.pyanalysepic.py其中httpdown_p.py是主文件，输入一个URL，调用analyseurl分析该url网页中包含的所有子页面的url（如论坛首页中包含的url）；analyseurl.py目前只分析了一级。所以使用的时候，要注意，必须该url页面中点击一下就能进入有图片的页面。analysepic.py则根据analyseurl.py的分析结果，再提取该url页面中的所有图片。最后再由http

3、down_p.py下载这些图片。2.问题1)目前没有采用多线程下载，所以下的较慢；2)图片存放位置为当前目录，没有细分目录；3)之下载了大于40K的图片（该限制可在httpdown_p.py中修改）；4)重复的图片没有下载；5)分析url时，解析的格式为"http://xxs.html"或"http://xx.htm",如果网站是相对url，这个还解析不出来。不过可以自行修改analyseurl.py;6)分析图片时，解析格式为"http://"开头，以['.jpg','jpeg','.png','.gif','.bmp']结尾，其他格式或相对地址也无

4、法解析。3.代码1httpdown_p.py#!/usr/bin/python#-*-coding:utf-8-*-importurllib2,re,string,sysfromtimeimportsleepimportmd5importjsonimportanalysepic,analyseurlout_dir='.'size_limit=40960defhttp_down(url):try:#useproxy"""proxy_support=urllib2.ProxyHandler({'http':'http://1.179.128.3:8080'

5、})opener=urllib2.build_opener(proxy_support,urllib2.HTTPHandler)urllib2.install_opener(opener)"""#request=urllib2.Request(url)http_file=urllib2.urlopen(url)info=http_file.info()#forkey,valueininfo.items():#print("%s=%s"%(key,value))size=string.atoi(info['content-length'])#print'

6、size=%d'%(size)ifsize>=size_limit:filename=url[url.rindex('/')+1:]f=open(out_dir+'/'+filename,'wb')content=http_file.read()f.write(content)f.close()print'Down:%s'%(url)else:print'Igno:%s'%(url)http_file.close()exceptException,e:print'downloaderror:',e,urldefhttp_down_p(urls):for

7、urlinurls:http_down(url)defmain(url):#pics=analysepic.analyse_pic("http://discovery.163.com/photoview/4T8F0001/39413.html?frurls=analyseurl.analyse_url(url)print"%durlfound!"%(len(urls))all_pics=[]i=0foruinurls:i+=1pics=analysepic.analyse_pic(u)print"[%3d]%dpicsfoundin'%s'"%(i,l

8、en(pics),u)forpicinpics:ifnotpicinall_pics:all_