对大佬的图片下载器的小程序很感兴趣,故运行了一下代码块,发现会报类似下图中的Exceeded 30 redirects错。
故重新编写了一个访问函数来实现图片下载功能,不过还是要感谢大佬很有趣的idea。
一、自动下载图片流程
- 总结网址规律,以便根据网址访问网页;
- 根据网址规律,循环爬取并返回网页;
- 利用正则表达式提取并返回图片。
二、Python实现
根据总结的爬图片流程,按步骤进行Python实现如下:
- 总结网址规律
打开百度-点击图片一栏,可以看到此时的网址为:
https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=百度,如图:
在网址中将“百度”换为“狗子”,刷新网页可得到新的图片集如下:
故可以找出网址规律为: https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=“引号内为想下载的图片名称”。
- 循环访问并返回网页内容
第一步:导入包
import requests
import importlib
import urllib
import re
import os
import sys
importlib.reload(sys)
第二步:定义网页访问函数
由于百度图片有反爬机制,不加入user-agent和cookie时会返回验证登录页面,故这里采用加入cookie的方式来解决此问题。
cookie获得方式:正常访问此页面,鼠标右键检查或F12-在Network处查看自己的cookie,由于cookie很长且每个用户的cookie不同,故代码中将cookie省略了,读者可查看自己浏览器的cookie,将其加入代码中。
def askURL(url):
head = {
"Accept": "image/webp,image/apng,image/*,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9",
"Connection": "keep-alive",
"Cookie": " ",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
s = quote(url, safe=string.printable) # 中文转utf8字符,否则会报ascii错
print(s)
request = urllib.request.Request(s, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
print(html)
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
return html
- 提取图片并返回
根据返回的html网页可以看到,网页中包含图片的url共有四种类型,分别是objURL、middleURL、hoverURL和thumbURL,故利用正则表达式返回四种类型的链接并合并。
i = 1
def savePic(url):
global i #
html = askURL(url)
pic_url = re.findall('"objURL":"(.*?)",', html, re.S) # re.S表示让换行符包含在字符中
pic_url2 = re.findall('"middleURL":"(.*?)",', html, re.S)
pic_url3 = re.findall('"hoverURL":"(.*?)",', html, re.S)
pic_url4 = re.findall('"thumbURL":"(.*?)",', html, re.S)
result = pic_url2 + pic_url + pic_url4 + pic_url3
for item in result:
print("已下载" + str(i) + "张图片")
# 定义异常控制
try:
pic = requests.get(item, timeout=5)
except Exception:
print("当前图片无法下载")
continue
# 保存图片
string = 'D:/MyData/Python爬虫/图片/'+word+"/"+str(i)+".jpg"
fp = open(string, 'wb')
fp.write(pic.content)
fp.close()
i += 1
- 定义主函数
if __name__ == '__main__': # 主程序
word = input("请输入想要下载的图片:")
# 根据搜索的关键字判断存放该类别的文件夹是否存在,不存在则创建
road = "D:/MyData/Python爬虫/图片下载器/" + word
if not os.path.exists(road):
os.mkdir(road)
# 根据输入的内容构建url列表,此处只访问了四页验证效果
urls = [
'https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word='
+ word '.format(str(i)) for i in range(0, 40, 10)]
for url in urls:
print(url)
downloadPic(url)
print("下载完成!")
以上就是全部的实现代码,程序运行结果如下图:
大功告成!爬虫小提醒:爬虫千万条,安全第一条。