什么都不做处理,直接请求的效果
经过一翻修饰后,再次请求
比较的结果
直接去拿数据,是拿不到的
需要适当的伪装一下自己
就好比。。。
七片服务器,带上请求头
直接访问,百度一看是 一个python 在请求
就会直接给一堆假数据
如果是一个真实电脑的数据
百度会给真实数据
例子分析
购建了一个请求头,是字典结构
发送get请求,带上一个请求头
requests.get(url, headers=headers)
import requests
url = "https://www.baidu.com"
d = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
res = requests.get(url, headers=d)
msg = res.content
print(len(msg))
print(msg.decode())