什么都不做处理,直接请求的效果

爬虫-11-伪造电脑访问构建一个请求头_chrome

经过一翻修饰后,再次请求

爬虫-11-伪造电脑访问构建一个请求头_请求头_02

比较的结果

直接去拿数据,是拿不到的

需要适当的伪装一下自己

就好比。。。

七片服务器,带上请求头

直接访问,百度一看是 一个python 在请求

就会直接给一堆假数据

如果是一个真实电脑的数据

百度会给真实数据

爬虫-11-伪造电脑访问构建一个请求头_chrome_03

例子分析

购建了一个请求头,是字典结构

爬虫-11-伪造电脑访问构建一个请求头_safari_04

发送get请求,带上一个请求头

requests.get(url, headers=headers)
import requests

url = "https://www.baidu.com"
d = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}

res = requests.get(url, headers=d)
msg = res.content
print(len(msg))
print(msg.decode())