Python爬虫从入门到精通——请求库Urllib的使用（一）：发送请求

分类目录：​​《Python爬虫从入门到精通》总目录​​

​​请求库Urllib的使用（一）：发送请求​​

​​请求库Urllib的使用（二）：处理异常​​

​​请求库Urllib的使用（三）：解析链接​​

​​请求库Urllib的使用（四）：Robots协议​​

在Python2中，有​​urllib​​​和​​urllib2​​​两个库来实现请求的发送。而在Python3中，已经不存在​​urllib2​​​这个库了，统一为​​urllib​​。urllib库是Python内置的HTTP请求库，也就是说不需要额外安装即可使用，它包含如下4个模块：

• • 
    
• request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程了。
• error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。
• parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。
• robotparser：主要是用来识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬。
  • 
    

使用urllb的request模块，我们可以方便地实现请求的发送并得到响应。

urlopen()方法

​​url1ib.request​​模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证（authenticaton）、重定向（redirection）、浏览器Cookies以及其他内容。下面我们来看一下它的强大之处。这里以Python官网为例，我们来把这个网页抓下来：

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))

运行结果：

这里我们只用了两行代码，便完成了Python官网的抓取，输出了网页的源代码。接下来，看看它返回的到底是什么。利用​​type()​​方法输出响应的类型：

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(type(response))

输出结果：

<class 'http.client.HTTPResponse'>

可以发现，它是一个​​HTTPResposne​​​类型的对象，主要包含​​read()​​​、​​readinto()​​​、​​getheader()​​​、​​getheaders()​​​、​​fileno()​​​等方法，以及​​msg​​​、​​version​​​、​​status​​​、​​reason​​​、​​debuglevel​​​、​​closed​​​等属性。得到这个对象之后，我们把它赋值为​​response​​变量，然后就可以调用这些方法和属性，得到返回结果的一系列信息了。

例如，调用​​read()​​​方法可以得到返回的网页内容，调用​​status​​​属性可以得到返回结果的状态码，如：​​200​​​代表请求成功，​​404​​代表网页未找到等。

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.status)
print(response.getheaders())
print(response.getheader('Server'))

运行结果：

200
[('Server', 'nginx'), ('Content-Type', 'text/html; charset=utf-8'), ('X-Frame-Options', 'DENY'), ('Via', '1.1 vegur'), ('Via', '1.1 varnish'), ('Content-Length', '49271'), ('Accept-Ranges', 'bytes'), ('Date', 'Sun, 05 May 2019 07:37:23 GMT'), ('Via', '1.1 varnish'), ('Age', '865'), ('Connection', 'close'), ('X-Served-By', 'cache-iad2151-IAD, cache-hnd18727-HND'), ('X-Cache', 'HIT, HIT'), ('X-Cache-Hits', '4, 1307'), ('X-Timer', 'S1557041844.623509,VS0,VE0'), ('Vary', 'Cookie'), ('Strict-Transport-Security', 'max-age=63072000; includeSubDomains')]
nginx

可见，前两个输出分别输出了响应的状态码和响应的头信息，最后一个输出通过调用​​getheader()​​​方法并传递一个参数​​Server​​​获取了响应头中的Server值，结果是​​nginx​​​，意思是服务器是用Nginx搭建的。利用最基本的​​urlopen()​​方法，可以完成最基本的简单网页的GET请求抓取。

我们首先看一下​​urlopen()​​函数的API：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

可以发现，除了第一个参数可以传递URL之外，我们还可以传递其他内容，比如​​data​​​（附加数据）、​​timeout​​（超时时间）等。下面我们详细说明下这几个参数的用法。

data参数

​​data​​​参数是可选的。如果要添加该参数，并且如果它是字节流编码格式的内容，即bytes类型，则需要通过​​bytes()​​方法转化。另外，如果传递了这个参数，则它的请求方式就不再是GET方式，而是POST方式。

import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({'word':'hello'}), encoding='utf-8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read())

这里我们传递了一个参数​​word​​​，值是​​hello​​​。它需要被转码成bytes（字节流）类型。其中转字节流采用了​​bytes()​​​方法，该方法的第一个参数需要是str（字符串）类型，需要用​​urllib.parse​​​模块里的​​urlencode()​​​方法来将参数字典转化为字符串；第二个参数指定编码格式，这里指定为​​utf8​​​。这里请求的站点是​​httpbin.org​​​，它可以提供HTTP请求测试。本次我们请求的URL为​​http:/httpbin.org/post​​​，这个链接可以用来测试POST请求，它可以输出请求的一些信息，其中包含我们传递的​​data​​​参数。在运行结果中可以看到我们传递的参数出现在了​​form​​字段中，这表明是模拟了表单提交的方式，以POST方式传输数据。

timeout参数

timeout参数用于设置超时时间，单位为秒，意思就是如果请求超出了设置的这个时间，还没有得到响应，就会抛出异常。如果不指定该参数，就会使用全局默认时间。它支持HTTP、HTTPS、FTP请求。

import urllib.request

response = urllib.request.urlopen('http://httpbin.org/get', timeout=1)
print(response.read())

这里我们设置超时时间是1秒。程序1秒过后，服务器依然没有响应，于是抛出了​​URLError​​​异常。该异常属于​​urllib.error​​​模块，错误原因是超时。因此，可以通过设置这个超时时间来控制一个网页如果长时间未响应，就跳过它的抓取。这可以利用​​try​​​/​​except​​语句来实现，相关代码如下：

import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')

这里我们请求了​​​http://httpbin.org/get​​​测试链接，设置超时时间是0.1秒，然后捕获了​​URLError​​异常，接着判断异常是​​socket.timeout​​类型（意思就是超时异常），从而得出它确实是因为超时而报错，打印输出了​​TIME OUT​​。

运行结果：

TIME OUT

按照常理来说，0.1秒内基本不可能得到服务器响应，因此输出了TIMEOUT的提示。通过设置timeout这个参数来实现超时处理，有时还是很有用的。

其他参数

除了​​data​​​参数和​​timeout​​​参数外，还有​​context​​​参数，它必须是​​ss1.SSLContext​​​类型，用来指定SSL设置。此外，​​cafile​​​和​​capath​​​这两个参数分别指定CA证书和它的路径，这个在请求HTTPS链接时会有用。​​cadefault​​参数现在已经弃用了，其默认值为False。

前面讲解了​​urlopen()​​​方法的用法，通过这个最基本的方法，我们可以完成简单的请求和网页抓取。若需更加详细的信息，可以参见​​官方文档​​。

Request方法

我们知道利用​​urlopen()​​​方法可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。如果请求中需要加入​​Headers​​​等信息，就可以利用更强大的​​Request​​类来构建。首先，我们用实例来感受一下Request的用法：

import urllib.request

request = urllib.request.Request('https://python.org')
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

可以发现，我们依然是用​​urlopen()​​方法来发送这个请求，只不过这次该方法的参数不再是URL，而是一个Request类型的对象。通过构造这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可更加丰富和灵活地配置参数。

下面我们看一下Request可以通过怎样的参数来构造，它的构造方法如下：

class urllib.request.Request（url，data-None，headers={}，origin req host-None，unverifiable-False，method-None）

• • 
    
• 第一个参数​​url​​用于请求URL，这是必传参数，其他都是可选参数。
• 第二个参数​​data​​​如果要传，必须传bytes（字节流）类型的。如果它是字典，可以先用​​urllib.parse​​​模块里的​​urlencode()​​编码。
• 第三个参数headers是一个字典，它就是请求头，我们可以在构造请求时通过​​headers​​​参数直接构造，也可以通过调用请求实例的​​add_header()​​​方法添加。添加请求头最常用的用法就是通过修改​​User-Agent​​​来伪装浏览器，默认的​​User-Agent​​​是​​Python-urllib​​，我们可以通过修改它来伪装浏览器。比如要伪装火狐浏览器，你可以把它设置为：`Mozil1a/5.0（X11；U；Linux i686）Cecko/20071127 Firefox/2.0.0.11
• 第四个参数​​origin_req_host​​指的是请求方的host名称或者IP地址。
• 第五个参数unverifiable表示这个请求是否是无法验证的，默认是False，意思就是说用户没有足够权限来选择接收这个请求的结果。例如，我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，这时unverifiable的值就是True。
• 第六个参数method是一个字符串，用来指示请求使用的方法，比如GET、POST和PUT等。
  • 
    

下面我们传乳多个参数构建请求来看一下：

from urllib import request,parse

url = 'http://httpbin.org/post'
headers = {
    'User-Agent':'Mozilla/4.0 (compatible;MSIE S. S; Windows NT )', 
    'Host': 'httpbin.org'
}
dict_data = {
    'name':'China'
}

data = bytes(parse.urlencode(dict_data), encoding='utf-8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

运行结果：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "China"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Content-Length": "10", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/4.0 (compatible;MSIE S. S; Windows NT )"
  }, 
  "json": null, 
  "origin": "218.17.40.167, 218.17.40.167", 
  "url": "https://httpbin.org/post"
}

观察结果可以发现，我们成功设置了​​data​​​、​​headers​​​和​​method​​​。另外，​​headers​​​也可以用​​add_header()​​方法来添加：

req = request.Request(url=url, data=data, headers=headers, method='POST')
req.add_header('User-Agent', 'Mozilla/4.0 (compatible;MSIE S. S; Windows NT)')

如此一来，我们就可以更加方便地构造请求，实现请求的发送。

高级用法

在之前的过程中，我们虽然可以构造请求，但是对于一些更高级的操作（比如Cookies处理、代理设置等）我们没有涉及。接下来，我们介绍更强大的工具​​Handler​​。简而言之，我们可以把它理解为各种处理器，有专门处理登录验证的，有处理Cookies的，有处理代理设置的。利用它们，我们几乎可以做到HTTP请求中所有的事情。

首先，介绍一下​​urllib.request​​​模块里的​​BaseHandler​​​类，它是所有其他​​Handler​​​的父类，它提供了最基本的方法，例如​​default_open()​​​、​​protocol_request()​​​等。接下来，就有各种Handler子类继承这个​​BaseHandler​​类，举例如下。

• • 
    
• HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。
• HTTPRedirectHandler：用于处理重定向。
• HTTPCookieProcessor：用于处理Cookies。
• ProxyHandler：用于设置代理，默认代理为空。
• HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。
• HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。
  • 
    

另外，还有其他的​​Handler​​​类，这里就不一一列举了，详情可以参考​​官方文档​​。

另一个比较重要的类就是​​OpenerDirector​​​，我们可以称为​​Opener​​​。我们之前用过​​urlopen()​​​这个方法，实际上它就是urlib为我们提供的一个​​Opener​​​。引入​​Opener​​​是因为需要实现更高级的功能。之前使用的​​Request​​​和​​urlopen()​​​相当于类库为你封装好了极其常用的请求方法，利用它们可以完成基本的请求，但是现在不一样了，我们需要实现更高级的功能，所以需要深入一层进行配置，使用更底层的实例来完成操作，所以这里就用到了​​Opener​​。

​​Opener​​​可以使用​​open()​​​方法，返回的类型和​​urlopen()​​如出一辙，它实际上是利用Handler来构建Opener。

验证

有些网站在打开时就会弹出提示框，直接提示你输入用户名和密码，验证成功后才能查看页面。如果要请求这样的页面，借助​​HTTPBasicAuthHandler​​就可以完成。

from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
from urllib.error import URLError

username = 'username'
password = 'password'
url = 'http://localhost:5000/'

p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None, url, username, password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)

try:
    result = opener.open(url)
    html = result.read().decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)

这里首先实例化​​HTTPBasicAuthHandler​​​对象，其参数是​​HTTPPasswordMgrwithDefaultRealm​​​对象，它利用​​add_password()​​​添加进去用户名和密码，这样就建立了一个处理验证的Handler。接下来，利用这个Handler并使用​​build_opener()​​​方法构建一个Opener，这个Opener在发送请求时就相当于已经验证成功了。接下来，利用Opener的​​open()​​方法打开链接，就可以完成验证了。这里获取到的结果就是验证后的页面源码内容。

代理

在做爬虫的时候，免不了要使用代理，如果要添加代理，可以这样做：

from urllib.request import ProxyHandler, build_opener
from urllib.error import URLError

proxy_handler = ProxyHandler({
    'http':'http://127.0.0.1:9743', 
    'https':'https://127.1.1.1:9743'
})
opener = build_opener(proxy_handler)

try:
    response = opener.open('https://www.baidu.com')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

这里我们在本地搭建了一个代理，它运行在9743端口上。这里使用了​​ProxyHandler​​​，其参数是一个字典，键名是协议类型（比如HTTP或者HTTPS等），键值是代理链接，可以添加多个代理。然后，利用这个​​Handler​​​及​​build_opener()​​​方法构造一个​​Opener​​，之后发送请求即可。

Cookies

Cookies的处理就需要相关的​​Handler​​了。我们先用实例将网站的Cookies获取下来，相关代码如下：

import http.cookiejar, urllib.request

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
for item in cookie:
    print(item.name + '=' + item.value)

运行结果：

BIDUPSID=B09DC0DDE686769CAE5EBAFBFDC63903
PSTM=1557063522
BD_NOT_HTTPS=1

首先，我们必须声明一个​​Cookie]ar​​​对象。接下来，就需要利用​​HTTPCookieProcessor​​​来构建一个​​Handler​​​，最后利用​​build_opener()​​​方法构建出​​Opener​​​，执行​​open()​​函数即可。可以看到，这里输出了每条Cookie的名称和值。不过既然能输出，我们就要将Cookies以文本形式保存。

filename = 'cookies.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

这时​​Cookie]ar​​​就需要换成​​MozillaCookie]ar​​​，它在生成文件时会用到，是​​CookieJar​​的子类，可以用来处理Cookies和文件相关的事件，比如读取和保存Cookies，可以将Cookies保存成Mozilla型浏览器的Cookies格式。运行之后，可以发现生成了一个cookies.txt文件，其内容如下：

# Netscape HTTP Cookie File
# http://curl.haxx.se/rfc/cookie_spec.html
# This is a generated file!  Do not edit.

.baidu.com  TRUE  / FALSE 3704547482  BIDUPSID  40B04D4C7529EF212107370A5701D025
.baidu.com  TRUE  / FALSE 3704547482  PSTM  1557063834
www.baidu.com FALSE / FALSE 1557064135  BD_NOT_HTTPS  1

另外，​​LWPCookieJar​​同样可以读取和保存Cookies，但是保存的格式和​​MozillaCookieJar​​不一样，它会保存成libwww-perl(LWP)格式的Cookies文件。

要保存成LWP格式的Cookies文件：

filename = 'cookies.txt'
cookie = http.cookiejar.LWPCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

此时生成的内容为：

#LWP-Cookies-2.0
Set-Cookie3: BIDUPSID=CA14A9AD82B38A2C4C7278E960D241DD; path="/"; domain=".baidu.com"; path_spec; domain_dot; expires="2087-05-23 17:00:40Z"; version=0
Set-Cookie3: PSTM=1557063992; path="/"; domain=".baidu.com"; path_spec; domain_dot; expires="2087-05-23 17:00:40Z"; version=0
Set-Cookie3: BD_NOT_HTTPS=1; path="/"; domain="www.baidu.com"; path_spec; expires="2019-05-05 13:51:33Z"; version=0

由此看来，生成的格式还是有比较大差异的。那么，生成了Cookies文件后，怎样从文件中读取并利用呢？我们以​​LWPCookieJar​​格式为例来看一下：

cookie = http.cookiejar.LWPCookieJar()
cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
print(response.read().decode('utf-8'))

可以看到，这里调用​​load()​​​方法来读取本地的Cookies文件，获取到了Cookies的内容。不过前提是我们首先生成了​​LWPCookieJar​​​格式的Cookies，并保存成文件，然后读取Cookies之后使用同样的方法构建​​Handler​​​和​​Opener​​即可完成操作。运行结果正常的话，会输出百度网页的源代码。

<html>
<head>
  <script>
    location.replace(location.href.replace("https://","http://"));
  </script>
</head>
<body>
  <noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>

通过上面的方法，我们可以实现绝大多数请求功能的设置了。

这便是​​urllib​​库中​​request​​模块的基本用法，如果想实现更多的功能，可以参考​​官方文档​​的说明。