python urlliib2 安装 python怎么安装urllib

urllib库的使用方法

　　接上文再继续我们的爬虫，这次我们来述说Urllib库

1，什么是Urllib库

　　Urllib库是python内置的HTTP请求库

　　urllib.request　　请求模块

　　urllib.error　　　 异常处理模块

　　urllib.parse　　   url解析模块

　　urllib.robotparse  robots.txt解析模块

　　不需要额外安装，python自带的库。

注意：

python2
import urllib2
　　response = urllib2.urlopen('http://baidu.com')
python3
import urllib.request
　　response = urilib.request.urlopen('http://www.baidu.com')

　　python2和python3使用urllib库还是有一定区别的。

2，方法以及模块：

　　1）request

　　基本运行：（get方式的请求）

import
http://www.baidu.com')
utf-8'))

　　运行结果如下：

　　

urllib.request.urlopen('http://baidu.com')时，我们会得到一大长串的文本，也就是我们将要从这个得到的文本里得到我们所需要的数据。

　　带有请求参数：（post方式的请求）

import
import urllib.parse
　　data = bytes(urllib.parse.urlencode({'username':'cainiao'}),encoding='utf8')
http://httpbin.org/post',data = data)
　　print(response.read())

　　

　　在这里我们不难看出，我们给予的data username参数已经传递过去了。

　　注意data必须为bytes类型

　　设置请求超时时间：

import
http://httpbin.org/get', timeout = 1)
　　print(response.read())

　　

　　这时我们看到，执行代码时报出timed out错误。我们这时可以使用urllib.error模块，代码如下

import
ipmort
try:
http://httpbin.org/get', timeout = 0.1)
　　　　print(response.read()) 
except

链接超时啦～！') # 这里我们没有判断错误类型，可以自行加入错误类型判断，然后在进行输出。

　　说到这，我们就把最简单，最基础的urlopen的基础全都说完了，有能力的小伙伴，可以进行详细阅读其源码，更深入的了解该方法。

　　2）响应 response

import

http://www.baidu.com')

　　print(type(response))

　　# 得到一个类型为<class 'http.client.HTTPResponse'>　

　　

　　

　　

import
http://www.baidu.com')
type(response)) # 响应类型
status) #上篇文章提到的状态码
getheaders)  # 请求头
Server')) # 取得请求头参数

　　

import
http://www.baidu.com')
utf-8')) # 响应体，响应内容

　　响应体为字节流形式的内容，我们需要调用decode(decode('utf-8'))进行转码。

 

　　常用的post请求基本写法

　

from urllib import
http://httpbin.org/post'
　　headers = {
Mozilla/4.0(compatible;MSIE 5.5;Windows NT)',
httpbin.org'
　　}
dict
cxiaocai'
　　}
bytes(parse.urlencode(dict),encoding='utf8')
POST')
　　response = request.urlopen(req)
utf-8'))
　　也可以写成这样的
　　from urllib import
http://httpbin.org/post'
　　dict = {
cxiaocai'
　　}
bytes(parse.urlencode(dict),encoding='utf8')
POST')
User-Agent':'Mozilla/4.0(compatible;MSIE 5.5;Windows NT)')
　　response = request.urlopen(req)
utf-8'))

　　说到这里，我们最基本的urllib请求就可以基本完成了，很大一部分网站也可以进行爬取了。

3，代理设置

　　代理设置我们这里简单的说一下，后面的博客我们会用实际爬虫来说明这个。

　　Hander代理

import
　　proxy_hander = urllib.request.ProxyHeader({
http://127.0.0.1:1111',
https://127.0.0.1:2222'
　　})
proxy_hander)
http://www.baidu.com')

　　print(response.read()) # 我这没有代理，没有测试该方法。

　　Cookie设置

import
cookie
hander = urllib.request.HTTPCookieProcessor(cookie)
hander)
http://www.baidu.com")
　　for item in cookie:
　　　　print(item.name + "=" + item.value)

　　

　　

　　 例如某些网站是需要登陆的，所有我们在这里需要设置Cookie

　　我们也可以将Cookie保存为文本文件，便于多次进行读取。

 

import http.cookiejar, urllib.request
 
= 'cookie.txt'
= http.cookiejar.MozillaCookieJar(filename)
= urllib.request.HTTPCookieProcessor(cookie)
= urllib.request.build_opener(hander)
= opener.open("http://www.baidu.com")
.save(ignore_discard=True, ignore_expires=True)

　　代码运行以后会在项目目录下生成一个cookie.txt

　　另外一种Cookie的保存格式

import http.cookiejar, urllib.request
 
= 'cookie.txt'
= http.cookiejar.LWPCookieJar(filename)
= urllib.request.HTTPCookieProcessor(cookie)
= urllib.request.build_opener(hander)
= opener.open("http://www.baidu.com")
.save(ignore_discard=True, ignore_expires=True)

运行代码以后也会生成一个txt文件，格式如下

下面我们来读取我们过程保存的Cookie文件

import http.cookiejar, urllib.request

 

cookie = http.cookiejar.LWPCookieJar()

cookie.load('cookie.txt',ignore_expires=True,ignore_discard=True)

hander = urllib.request.HTTPCookieProcessor(cookie)

opener = urllib.request.build_opener(hander)

response = opener.open('http://www.baidu.com')

print(response.read().decode('utf-8'))

4，异常处理
　　简单事例，在这里我们来访问一个不存在的网站

from urllib import request,error

try:

response = request.urlopen('')

except error.URLError as e:

print(e.reason)

这里我们知道这个网站根本不存在的，会报错，我们捕捉该异常可以保证程序继续运行，我们可以执行重试操作
　我们也可以查看官网 https://docs.python.org/3/library/urllib.error.html#module-urllib.error

5，URL解析 
　　urlparse模块
　　主要用户解析URL的模块，下面我们先来一个简单的示例

from urllib.parse import urlparse

result = urlparse('https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1')

print(type(result),result)

这里我们看下输出结果：

　　该方法可以进行url的拆分
　　也可以制定请求方式http，或者https方式请求

from urllib.parse import urlparse

 

result = urlparse('www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1',scheme='https')

print(result)

输出结果如下所示：

　　在这里我们看到了，请求被制定了https请求
　　我们会看到输出结果里包含一个fragents，我们想将framents拼接到query后面，我们可以这样来做

from urllib.parse import urlparse

 

result = urlparse('http://www.baidu.com/index.html;user?id=5#commont',allow_fragments=False)

print(result)

输出结果为

　　如果没有frament，则拼接到path内
　　示例：

　　
　　我们现在知道了URl怎么进行拆分，如果我们得到了URl的集合，例如这样dada = ['http','www.baidu.com','index.html','user','a=6','comment']
我们可以使用urlunparse


　　还有urljoin，主要是来进行url的拼接的，接下来我们来看下我们的示例：

以后面的为基准，如果有就留下，如果没有就从前面取。
　　如果我们的有了一个字典类型的参数，和一个url，我们想发起get请求（上一期说过get请求传参），我们可以这样来做，

在这里我们需要注意的是，url地址后面需要自行加一个‘？’。
最后还有一个urllib.robotparser，主要用robot.txt文件的官网有一些示例，由于这个不常用，在这里我做过多解释。
官网地址：https://docs.python.org/3/library/urllib.robotparser.html#module-urllib.robotparser 感兴趣的小伙伴可以自行阅读官方文档。

到这里我们就把urllib的基本用法全部说了一遍，可以自己尝试写一些爬虫程序了（先用正则解析，后期我们有更简单的方法）。
想更深入的研读urllib库，可以直接登陆官方网站直接阅读其源码。官网地址： https://docs.python.org/3/library/urllib.html 
注意：很多小伙伴看到我的代码直接复制过去，但发现直接粘贴会报错，还需要自己删除多余的空行，在这里我并不建议你们复制粘贴，后期我们整理一个github供大家直接使用。
下一篇文章我会弄一篇关于Requests包的使用，个人感觉比urllib更好用，敬请期待。
　　                 感谢大家的阅读，不正确的地方，还希望大家来斧正，鞠躬，谢谢🙏。

 

 

感谢大家的阅读，不正确的地方，还希望大家来斧正，我们一起探讨技术问题，觉得写得好的，给个赞，点个关注吧，鞠躬，谢谢🙏。