python urllib库 urlretrieve 安装 python安装urllib2

Urllib库详解

什么是Urllib?

• Python内置的HTTP请求库（安装好Python后就可以直接使用）.
• 在Python2中, 有urllib与urllib2两个库可以用来实现request的发送；
• 而在Python3中, 没有urllib2了，统一称为：urllib
• urllib中包括了四个模块：

1. urllib.request：请求模块，可以用来发送request和获取request的结果；（类似于在浏览器中输入网址并回车操作，需要传递url链接以及参数）
2. urllib.error ：异常处理模块（出现请求错误的话，使用该方法捕获异常）
3. urllib.parse ：解析模块， 用于解析和处理URL；（提供许多url处理方法，比如拆分、合并等操作）
4. urllib.robotparser： robots.txt解析模块（用来识别网址的 robots.txt，分辨哪些是可以爬取的，哪些是不可以爬取的）

urllib.request模块

该模块提供了最基本的构造HTTP请求的方法，可以模拟浏览器的请求过程，同时还带有处理authentication(授权验证)、redirections(重定向)、cookies(浏览器Cookies)等内容。

• 
  

urlopen()方法——打开指定的URL。

• 发送request请求给服务器
• 语法：
• urllib.request.urlopen(url（网站链接）, data=None（post数据，post请求时需要）, [timeout, ]*（超时设置）, cafile=None,capath=None, cadefault=False, context=None)
• 参数：url是地址；data：可选附加参数，字节流编码格式(bytes()可转换), 请求方式会变为POST; timeout(超时时间)单位为秒, 未及时响应则抛出异常；
• 返回：HTTPResponse类型的对象：

• response.read() 可得到返回的网页内容, 可使用decode(‘utf-8’)解码字符串；
• response.status 可以得到返回结果的状态码（status后不用跟括号）。

• 有data数据就使用post请求，没有的话就使用get请求
• get请求练习：

import urllib.request 
  response = urllib.request.urlopen('http://www.baidu.com') 
  print(response.read().decode('utf-8'))

- 若不使用.decode(‘utf-8’)进行解码，结果如下：

• post请求练习：

import urllib.parse
import urllib.request
data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data) print(response.read())

• 结果：

• 超时设置（设置timeout参数）（如果在规定时间内没有得到响应的话就会报错）：

• import socket import urllib.request import urllib.error try: response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1) except urllib.error.URLError as e: if isinstance(e.reason, socket.timeout): print('TIME OUT')



• 
  

urllib.request.Request类——封装返回URL请求的抽象类。

• 利用urlopen()可实现最基本的请求发起，但不足以构建一个完整的请求；
• 使用强大的Request类可以在请求中加入需要的headers等信息，进行信息封装；
• 单独使用urlopen访问网址容易被识别；而Request模块可以封装headers等信息伪装成正常浏览器访问网站。
• 语法：urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)

• 参数url: 是必传参数，其他都是可选参数；
• 参数data: 参数如果要传必须传bytes(字节流)类型的, 如果是一个字典, 可以先用urllib.parse.urlencode()进行编码；
• 参数headers: 是一个字典, 可在构造Request时通过headers参数传递，也可通过调用add_header()来添加请求头；
• 参数origin_req_host: 请求方的host名称或IP地址；
• 参数unverifiable 指的是这个请求是否是无法验证的，默认是False, 意思是用户没有足够权限来选择接受这个请求的结果；
• 参数method:是一个字符串，用来指示请求使用的方法，如：GET、POST、PUT等。

响应（包括：状态码、响应头）

import urllib.request
response = urllib.request.urlopen('https://www.python.org')
print(response.status)  #获取响应状态
print(response.getheaders()) #获取响应头（响应头里可以放参数来获取想要了解的信息）
print(response.getheader('Server')) #获取响应信息中Server的详细情况

获取响应内容

• 使用.read().decode(‘utf-8’)方法

Request 方法

等价于一下写法：

注意：当import urllib.request换成from urllib import request写法时，文档中的urllib.request.urlopen就可直接写成request.urlopen

使用Request方法，可以将urlopen中的参数拆分开书写，适用于post请求

爬虫的异常处理——urllib.error

• 在爬虫运行时，经常会出现异常，若不进行处理则会因报错而终止运行。
• urllib.error可以接收由urllib.request产生的异常。
• urllib.error有两个类：URLError、HTTPError（URLError是OSError的一个子类，HTTPError是URLError的一个子类；注意：写代码时父类一定要放在子类后面，否则执行完父类就不执行子类了）。

• URLError内有一个属性：reason 返回错误的原因；
• HTTPError内有三个属性：code 返回HTTP状态码，如404 ； reason 返回错误原因； headers 返回请求头。

• 如何选择异常库：实际开发中会同时使用两个异常类。不过：URLError：产生的原因主要是1、网络没有连接；2、服务器连接失败，3、找不到指定的服务器。猜想：HTTPError是URLError的详细化的错误异常，URLError只能粗略的判断异常的原因，而HTTPError可以 详细的判断异常并返回对应的状态码，可以清楚的知道http此时的状态。所以常规思路是先使用HTTPError判断是否是http的问题，后使用URLError。
• 错误处理: 在容易出错的位置，添加 try 块。
• 可以通过isinstance判断具体是哪种异常：

import socket
import urllib.request,urllib.error
try:
	response = urllib.request.urlopen('https://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:
	print(type(e.reason))
	if isinstance(e.reason, socket.timeout):
		print('TIME OUT')

重点：开发中经常采用统一处理：except Exception as e加上 hasattr来判断错误原因属于哪种:

from urllib import request, error

url = ''
req = request.Request(url)
try:
    res = request.urlopen(req)
    html = res.read().decode('utf-8')
    print(len(html))
except Exception as e:
    if hasattr(e, "code"):
        print("HTTPError")
        print(e.reason)
        print(e.code)
    elif hasattr(e, "reason"):
        print("URLError")
        print(e.reason)

URL解析

urlparse方法（解析url的方法）：

• 语法：urllib.parse.urlparse(urlstring, scheme=''（这是默认值）, allow_fragments=True)



• 
  

urlunparse方法（urlparse的反向用法）

urljoin（url路径拼合方法）

注意：路径重复的地方，后面路径会覆盖前面的路径

urllib.parse的quote和urlencode区别（可以把关键字转化为get请求参数）

quote 和 urlencode 的区别：

• urlencode 针对传递字典参数；
• quote 针对传递字符串参数；

from urllib.parse import quote
from urllib.parse import urlencode

base_url = 'https://s.taobao.com/search?'
data = {
    'q': 'ipad'
}

print('https://s.taobao.com/search?q='+quote('ipad'))
#https://s.taobao.com/search?ipad
print(base_url+urlencode(data))
#https://s.taobao.com/search?q=ipad

高级用法

Handler——代理

import urllib.request
proxy_handler = urllib.request.ProxyHandler({
	'http': 'http://127.0.0.1:9743',
	'https': 'https://127.0.0.1:9743'
	}) #伪装IP地址
opener = urllib.request.build_opener(proxy_handler)
response = opener.open('http://httpbin.org/get')
print(response.read())

Cookie

• ——在客服端保存的信息，用来记录用户身份的文本文件
• ——可以在浏览器右键审查元素中的application中查看
• ——在爬虫时，Cookie主要用来维持登陆状态的机制

• import http.cookiejar, urllib.request
• cookie = http.cookiejar.CookieJar()
• handler = urllib.request.HTTPCookieProcessor(cookie)
• opener = urllib.request.build_opener(handler)
• response = opener.open('http://www.baidu.com')
• for item in cookie:

• print(item.name+"="+item.value)