写在破壳日的话:笔者的博客作为自己学习的记录,也算是学习笔记啦。如果有什么错误之处欢迎指出!希望自己能从小白一点点成长起来。
往之不可谏,来者犹可追!
结论:爬虫使用requests更方便
以下为学习整理:(重点对requests进行学习)
1.urllib是python内置的HTTP请求库
2.urllib.request
urllib.request可以实现基本的网页访问
用type查看三个变量的类型,分别是:<class 'http.client.HTTPResponse'> <class 'bytes'> <class 'str'>
Q:用response=urllib.request.urlopen()就可以访问网页,为什么还有req=urllib.request.Request(),response=urllib.request.urlopen(req)?
A:简单的直接访问网页可以用response=urllib.request.urlopen(url);但要对访问信息进行包装就用后者,比如添加headers : req=urllib.request.Request(url=url,headers=headers),response=urllib.request.urlopen(req)
3.requests的方法