在爬虫开发中,我们进场要使用urllib中的urlopen()和request.get()方法请求或获取一个网页的内容。Urliopen打开的UIR网址,url参数可以是一个字符创url或者是一个request对象,返回的网页内容实际上市没有被解码的。下面就具体为大家分享一下urlopen()的内容吧。

Python知识点解析之urlopen()详解

Urlopen介绍

urllib.request.urlopen()函数用于实现对目标url的访问。其函数原型如下:

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

其中url是需要打开的网址;data是Post提交的数据;timeout:设置网站的访问超时时间。同时需要说明的是直接用urllib.request模块的urlopen()获取页面,page的数据格式为bytes类型,需要decode()解码,转换成str类型。

函数参数介绍

1. url 参数:目标资源在网路中的位置。可以是一个表示URL的字符串;也可以是一个urllib.request对象。

2. data参数:data用来指明发往服务器请求中的额外的参数信息(如:在线翻译,在线答题等提交的内容),data默认是None,此时以GET方式发送请求;当用户给出data参数的时候,改为POST方式发送请求。

3. cafile、capath、cadefault 参数:用于实现可信任的CA证书的HTTP请求。(基本上很少用)

4. context参数:实现SSL加密传输。(基本上很少用)

返回处理方法详解

urlopen返回对象提供方法:

read() , readline() ,readlines() , fileno() , close() :对HTTPResponse类型数据进行操作。

info():返回HTTPMessage对象,表示远程服务器返回的头信息。

getcode():返回Http状态码。如果是http请求,200请求成功完成;404网址未找到。

geturl():返回请求的url。

版本区别

python2和python3在导入urlrequest的方式是不一样的。

python2中:import urllib2

而python3里面把urllib分开了,分成了urlrequest和urlerror,在这里我们只需导入urlrequest即可。from urllib.request import urlopen

以上就是为大家介绍的python爬虫开发中的urlopen()的介绍。