认识requests库
- 功能强大的爬取网页信息的第三方库,可以进行自动爬取HTML页面及自动网络请求提交的操作
- Response对象
- Response对象包含服务器返回的所有信息,也包含请求的Request信息
属性说明 r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败 r.textHTTP响应内容的字符串形式,即url对应的页面内容 r.encoding从HTTP header中猜测的响应内容编码方式 r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式) r.contentHTTP响应内容的二进制形式常见Requsets库的异常异常说明r.raise_for_status()如果不是200,产生异常requests.HTTPErrorrequests.ConnectionError 网络连接错误异常,如DNS查询失败、拒绝连接等requests.HTTP ErrorHTTP错误异常requests.URLRequired URL缺失异常requests.TooManyRedirects超过最大重定向次数,产生重定向异常requests.ConnectTimeout 连接远程服务器超时异常requests.Timeout请求URL超时,产生超时异常HTTP协议及Requests库方法
- HTTP协议(超文本传输协议)
- 是一个基于“请求与响应”模式的、无状态的应用层协议
- HTTP协议采用URL作为定位网络资源的标识,URL是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源
- URL格式如下:http://host[:port][path]host: 合法的Internet主机域名或IP地址port: 端口号,缺省端口为80path: 请求资源的路径
- HTTP协议对资源的操作
方法说明GET请求获取URL位置的资源 HEAD请求获取URL位置资源的响应消息报告,即获得该资源的头部信息 POST请求向URL位置的资源后附加新的数据 PUT请求向URL位置存储一个资源,覆盖原URL位置的资源 PATCH请求局部更新URL位置的资源,即改变该处资源的部分内容 DELETE请求删除URL位置存储的资源Requests库主要方法方法说明requests.request() 构造一个请求,支撑以下各方法的基础方法requests.get() 获取HTML网页的主要方法,对应于HTTP的GETrequests.head()获取HTML网页头信息的方法,对应于HTTP的HEADrequests.post() 向HTML网页提交POST请求的方法,对应于HTTP的POSTrequests.put() 向HTML网页提交PUT请求的方法,对应于HTTP的PUTrequests.patch()向HTML网页提交局部修改请求,对应于HTTP的PATCHrequests.delete()向HTML页面提交删除请求,对应于HTTP的DELETE
- requests.request(method,url,**kwargs)
- method: 请求方式,对应get/put/post等7种
- url: 拟获取页面的url链接
- **kwargs: 控制访问的参数,共13个,均为可选项
- params: 字典或字节序列,作为参数增加到url中
- data: 字典、字节序列或文件对象,作为Request的内容
- json: JSON格式的数据,作为Request的内容
- headers : 字典,HTTP定制头
- cookies : 字典或CookieJar,Request中的cookie
- auth: 元组,支持HTTP认证功能
- files : 字典类型,传输文件
- timeout : 设定超时时间,秒为单位
- proxies : 字典类型,设定访问代理服务器,可以增加登录认证
- allow_redirects: True/False,默认为True,重定向开关
- stream : True/False,默认为True,获取内容立即下载开关
- verify : True/False,默认为True,认证SSL证书开关
- cert : 本地SSL证书路径
- requests.get(url,params=None, **kwargs)
- ∙ url: 拟获取页面的url链接
- ∙ params: url中的额外参数,字典或字节流格式,可选
- ∙**kwargs: 12个控制访问的参数