之前在做爬虫测试时一直出现下图中的中文乱码问题:

python爬虫出现一小段乱码用ignore 爬虫出现乱码怎么解决_编码方式

试了一些方法更改setting设置之类的都不管用。

python爬虫出现一小段乱码用ignore 爬虫出现乱码怎么解决_中文乱码_02

python爬虫出现一小段乱码用ignore 爬虫出现乱码怎么解决_中文乱码_03

然后看了一篇文章解决了我这种问题,这里做个记录:

首先进入网页打开f12,选择Console:

python爬虫出现一小段乱码用ignore 爬虫出现乱码怎么解决_编码格式_04

 然后输入document.charset可以查看网页的编码格式:

python爬虫出现一小段乱码用ignore 爬虫出现乱码怎么解决_编码格式_05

 然后在代码中将编码方式设置成和他一样的就行了:

response = requests.get(url, headers=headers)
response.encoding = 'utf-8'  # 加上这一句
print(response.text)

尾页:

这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字数的这是来凑字