11 Python进阶：urllib

Python urllib

Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理。

本文主要介绍 Python3 的 urllib。

urllib 包 包含以下几个模块：

• urllib.request - 打开和读取 URL。
• urllib.error - 包含 urllib.request 抛出的异常。
• urllib.parse - 解析 URL。
• urllib.robotparser - 解析 robots.txt 文件。

urllib.request

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

• url：url 地址。
• data：发送到服务器的其他数据对象，默认为 None。
• timeout：设置访问超时时间。
• cafile 和 capath：cafile 为 CA 证书， capath 为 CA 证书的路径，使用 HTTPS 需要用到。
• cadefault：已经被弃用。
• context：ssl.SSLContext类型，用来指定 SSL 设置。

1. 发送网络请求：

使用urllib.request模块可以发送各种类型的网络请求，如GET、POST等。以下是一个简单的示例代码，演示如何发送GET请求并获取响应内容：

import urllib.request

url = 'http://www.example.com'
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')
print(html)

2. 发送POST请求：

如果需要发送POST请求，可以使用urllib.request模块的urlopen()方法，并且传递data参数作为POST请求的数据。示例代码如下：

import urllib.request
import urllib.parse

url = 'http://www.example.com'
data = urllib.parse.urlencode({'key': 'value'}).encode('utf-8')
response = urllib.request.urlopen(url, data=data)
html = response.read().decode('utf-8')
print(html)

3. 解析URL：

urllib.parse模块提供了函数来解析和操作URL。例如，可以使用urlparse()函数解析URL，并获取其各个部分。示例代码如下：

import urllib.parse

url = 'http://www.example.com/search?q=python'
parsed_url = urllib.parse.urlparse(url)
print(parsed_url.scheme)  # 输出协议部分
print(parsed_url.netloc)  # 输出域名部分
print(parsed_url.path)    # 输出路径部分
print(parsed_url.query)   # 输出查询部分

以上是使用urllib库进行网络请求和URL处理的一些示例代码。urllib库功能强大，可以满足很多网络请求和URL处理的需求。

除了 read() 函数外，还包含以下两个读取网页内容的函数：

readline() - 读取文件的一行内容

from urllib.request import urlopen

myURL = urlopen("https://www.baidu.com/")
print(myURL.readline()) #读取一行内容

readlines() - 读取文件的全部内容，它会把读取的内容赋值给一个列表变量。

from urllib.request import urlopen

myURL = urlopen("https://www.baidu.com/")
lines = myURL.readlines()
for line in lines:
    print(line)

经常需要判断网页是否可以正常访问，这里我们就可以使用 getcode() 函数获取网页状态码，返回 200 说明网页正常，返回 404 说明网页不存在:

import urllib.request

myURL1 = urllib.request.urlopen("https://www.baidu.com/")
print(myURL1.getcode())   # 200

try:
    myURL2 = urllib.request.urlopen("https://www.baidu.com/no.html")
except urllib.error.HTTPError as e:
    if e.code == 404:
        print(404)   # 404

如果要将抓取的网页保存到本地，可以使用 Python3 File write() 方法 函数：

from urllib.request import urlopen

myURL = urlopen("https://www.baidu.com/")
f = open("baidu.html", "wb")
content = myURL.read()  # 读取网页内容
f.write(content)
f.close()

执行以上代码，在本地就会生成一个 baidu.html 文件，里面包含了 https://www.baidu.com/ 网页的内容。

模拟头部信息

要在Python中发送带有自定义头部信息的HTTP和HTTPS请求，可以使用urllib.request模块，并将自定义的头部信息传递给Request对象。以下是一个示例代码，演示了如何模拟头部信息发送HTTP和HTTPS请求：

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

• url：url 地址。
• data：发送到服务器的其他数据对象，默认为 None。
• headers：HTTP 请求的头部信息，字典格式。
• origin_req_host：请求的主机地址，IP 或域名。
• unverifiable：很少用整个参数，用于设置网页是否需要验证，默认是False。。
• method：请求方法， 如 GET、POST、DELETE、PUT等。

发送HTTP请求：

import urllib.request

url_http = 'http://www.example.com'
headers_http = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
}

req_http = urllib.request.Request(url_http, headers=headers_http)
response_http = urllib.request.urlopen(req_http)
html_http = response_http.read().decode('utf-8')
print(html_http)

发送HTTPS请求：

import urllib.request

url_https = 'https://www.example.com'
headers_https = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
}

req_https = urllib.request.Request(url_https, headers=headers_https)
response_https = urllib.request.urlopen(req_https)
html_https = response_https.read().decode('utf-8')
print(html_https)

在这两个示例中，我们分别发送了HTTP请求和HTTPS请求，并设置了相应的头部信息，包括User-Agent和Accept等。需要注意的是，在发送HTTPS请求时，系统会自动处理SSL证书验证等安全性问题。如果你遇到SSL验证错误，可以通过设置context参数来忽略证书验证，示例如下：

import ssl

context = ssl.create_default_context()
context.check_hostname = False
context.verify_mode = ssl.CERT_NONE

response_https = urllib.request.urlopen(req_https, context=context)

urllib.error

urllib.error 模块为 urllib.request 所引发的异常定义了异常类，基础异常类是 URLError。

urllib.error 包含了两个方法，URLError 和 HTTPError。

URLError 是 OSError 的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常），包含的属性 reason 为引发异常的原因。

HTTPError 是 URLError 的一个子类，用于处理特殊 HTTP 错误例如作为认证请求的时候，包含的属性 code 为 HTTP 的状态码， reason 为引发异常的原因，headers 为导致 HTTPError 的特定 HTTP 请求的 HTTP 响应头。

对不存在的网页抓取并处理异常:

import urllib.request
import urllib.error

myURL1 = urllib.request.urlopen("https://www.baidu.com/")
print(myURL1.getcode())   # 200

try:
    myURL2 = urllib.request.urlopen("https://www.baidu.com/index.html")
except urllib.error.HTTPError as e:
    if e.code == 404:
        print(404)   # 404

urllib.parse

urllib.parse 用于解析 URL，格式如下：

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

urlstring 为 字符串的 url 地址，scheme 为协议类型，

allow_fragments 参数为 false，则无法识别片段标识符。相反，它们被解析为路径，参数或查询组件的一部分，并 fragment 在返回值中设置为空字符串。

from urllib.parse import urlparse

o = urlparse("https://www.runoob.com/")
print(o)

我们可以直接读取协议内容：

from urllib.parse import urlparse

o = urlparse("https://www.baidu.com/)
print(o.scheme)

完整内容如下：

urllib.robotparser

urllib.robotparser 用于解析 robots.txt 文件。

robots.txt（统一小写）是一种存放于网站根目录下的 robots 协议，它通常用于告诉搜索引擎对网站的抓取规则。

urllib.robotparser 提供了 RobotFileParser 类，语法如下：

class urllib.robotparser.RobotFileParser(url='')

这个类提供了一些可以读取、解析 robots.txt 文件的方法：

set_url(url) - 设置 robots.txt 文件的 URL。

read() - 读取 robots.txt URL 并将其输入解析器。

parse(lines) - 解析行参数。

can_fetch(useragent, url) - 如果允许 useragent 按照被解析 robots.txt 文件中的规则来获取 url 则返回 True。

mtime() -返回最近一次获取 robots.txt 文件的时间。 这适用于需要定期检查 robots.txt 文件更新情况的长时间运行的网页爬虫。

modified() - 将最近一次获取 robots.txt 文件的时间设置为当前时间。

crawl_delay(useragent) -为指定的 useragent 从 robots.txt 返回 Crawl-delay 形参。 如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 None。

request_rate(useragent) -以 named tuple RequestRate(requests, seconds) 的形式从 robots.txt 返回 Request-rate 形参的内容。 如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 None。

site_maps() - 以 list() 的形式从 robots.txt 返回 Sitemap 形参的内容。 如果此形参不存在或者此形参的 robots.txt 条目存在语法错误，则返回 None。

>>> import urllib.robotparser
>>> rp = urllib.robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rrate = rp.request_rate("*")
>>> rrate.requests
3
>>> rrate.seconds
20
>>> rp.crawl_delay("*")
6
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True

关注我，不迷路，共学习，同进步

关注我，不迷路，共学习，同进步