本文目录：
O、requests库介绍
一、requests的安装
二、requests库的七个主要方法
三、response对象的属性
四、理解response的编码
五、理解requests库的异常
六、爬取网页的通用代码框架
七、HTTP的理解
O、requests库介绍
Requests is the only Non-GMO HTTP library for Python, safe for human consumption.
上面是官方介绍，简而言之，requests库是一个非常好用的HTTP请求库，可用于网络请求和网络爬虫等。
一、requests库的安装
Windows平台：
以管理员身份运行cmd,
执行 pip install requests
检测是否安装完成：
import requests
r = requests.get(“http:www.baidu.com”)r = requests.get(“http://www.baidu.com”)
print(r.status_code)
200
二、requests库的七个主要方法
1.requests.request(methon, url, **kwargs)
构造一个请求，是支撑以下各方法的基础方法。
methon：请求方式
r = requests.request(‘get’, url, **kwargs)
r = requests.request(‘head’, url, **kwargs)
r = requests.request(‘post’, url, **kwargs)
r = requests.request(‘put’, url, **kwargs)
r = requests.request(‘patch’, url, **kwargs)
r = requests.request(‘delete’, url, **kwargs)
r = requests.request(options’, url, **kwargs)
- requests.get()
获取HTML网页的主要方法，对应HTTP的GET
- requests.head()
获取HTML网页头信息的方法，对应HTTP的HEAD
4.requests.post()
向HTML网页提交POST请求的，对应HTTP的POST
5.requests.put()
向HTML网页提交局部修改请求，对应HTTP的PUT
6.requests.patch()
向HTML网页提交局部修改请求，对应HTTP的PATCH
7.requests.delete()
向HTML网页提交删除请求，对应HTTP的DELETE
方法使用举例
url = ‘http://httpbin.org/post’
GET方法 requests 的get方法
r = requests.get(url)
r.text
405 Method Not Allowed
Method Not Allowed
The method is not allowed for the requested URL.
requests.get(url) : 构造一个向服务器请求资源的Requests对象
r ：返回一个包含服务器资源的Response对象
requests.get(url, params=None, **kwargs)
url : 拟获取页面url连接
params : 字典或字节序列，作为参数增加到url中
**kwargs : 12个控制访问的参数 （可选项）
参数介绍:
json：JSON格式的数据，作为Request的内容
data：字典、字节序列或文件对象，作为Request的内容
headers：字典，HTTP定制头
cookies：字典或CookieJar，Request中的cookie
auth：元组，支持HTTP认证功能
files：字典类型，传输文件
timeout：设定超时时间，以秒为单位
proxies：字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects：True/False,默认为True，重定向开关
stream：True/False,默认为True，获取内容立刻下载开关
varify：True/False,默认为True，认证SSL证书开关
cert：本地SSL证书路径
POST方法 requests 的post方法
data = {‘key1’:‘value1’, ‘key2’:‘value2’}
r = requests.post(url, data=data)
print(r.text)
{…
“form”: {
“key1”: “value1”,
“key2”: “value2”
}, …
}
三、response对象的属性
Response 对象包含服务器返回的所有信息，也包含请求的Request信息
r.status_code：HTTP请求的返回状态，200表示连接成功，其余返回码表示连接失败。
r.text：HTTP响应内容的字符串形式，既url对应页面的源码
r.encoding：从HTTP header 中猜测的响应内容编码方式
r.apparent_encoding：从内容中分析出的响应内容编码方式（备选编码方式）
r.content：HTTP响应内容的二进制形式
四、理解response的编码
r.encoding：
如果header中不存在charset，
则认为编码为ISO-8859-1
r.text根据r.encoding显示网页内容
r.apparent_encoding：
根据网页内容分析出编码方式，可以看做是r.encoding的备选
五、理解requests库的异常
“网络连接有风险，异常处理很重要。”
requests库中常用异常介绍：
requests.ConnectionError：网络连接错误异常，如DNS查询失败、拒绝连接等。
requests.HTTPError：HTTP错失异常
requests.URLRequired：URL缺失异常
requests.TooManyRedirects：超过最大重定向次数，产生重定向异常
requests.ConnectTimeout：连接远程服务器超时异常
requests.Timeout：请求URL超时，产生超时异常
异常处理中常用方法:
r.raise_for_status()：
如果不是200，产生异常requests.HTTPError
在方法内部判断r.status_code是否等于200,
不需要增加额外的if语句，
该语句便于利用try-except进行异常处理。
六、爬取网页的通用代码框架
import requests
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return “产生异常”
if name == “main”:
url = “http://www.baidu.com”
print(getHTMLText(url))
七、HTTP的理解
HTTP (Hypertext Transfer Protocol) 超文本传输协议
HTTP是一个基于"请求与响应"模式的、无状态的应用程序协议。
HTTP协议采用URL作为定位网络资源的标识，URL格式如下：
http://host[:port][path]host：合法的Internet主机域名或IP地址
port：端口号，缺省端口为80
path：请求资源的路径
HTTP URL的理解：
URL（Uniform Resource Locator）统一资源定位符
URL是通过HTTP协议存取资源Internert路径，一个URL对应
一个数据资源。
HTTP协议对资源的操作
GET：请求获取URL位置的资源
HEAD：请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST：请求向URL位置的资源后附加新的数据
PUT：请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH：请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE：请求删除URL位置存储的资源
理解 PATCH 和 PUT 的区别
假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段
需求：用户修改了UserName，其他不变
1.采用PATCH，仅向URL提交UserName局部更新请求
2.采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除
PATCH的最主要好处：节省网络带宽
欢迎关注公众号：全栈黑科技
一起交流学习。
