认识requests库

  • 功能强大的爬取网页信息的第三方库,可以进行自动爬取HTML页面及自动网络请求提交的操作


python爬虫如何返回响应数据_HTTP


  • Response对象
  • Response对象包含服务器返回的所有信息,也包含请求的Request信息

属性说明 r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败 r.textHTTP响应内容的字符串形式,即url对应的页面内容 r.encoding从HTTP header中猜测的响应内容编码方式 r.apparent_encoding内容中分析出的响应内容编码方式(备选编码方式) r.contentHTTP响应内容的二进制形式常见Requsets库的异常异常说明r.raise_for_status()如果不是200,产生异常requests.HTTPErrorrequests.ConnectionError 网络连接错误异常,如DNS查询失败、拒绝连接等requests.HTTP ErrorHTTP错误异常requests.URLRequired URL缺失异常requests.TooManyRedirects超过最大重定向次数,产生重定向异常requests.ConnectTimeout 连接远程服务器超时异常requests.Timeout请求URL超时,产生超时异常HTTP协议及Requests库方法

  • HTTP协议(超文本传输协议)
  • 是一个基于“请求与响应”模式的、无状态的应用层协议
  • HTTP协议采用URL作为定位网络资源的标识,URL是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源
  • URL格式如下:http://host[:port][path]host: 合法的Internet主机域名或IP地址port: 端口号,缺省端口为80path: 请求资源的路径
  • HTTP协议对资源的操作

方法说明GET请求获取URL位置的资源 HEAD请求获取URL位置资源的响应消息报告,即获得该资源的头部信息 POST请求向URL位置的资源后附加新的数据 PUT请求向URL位置存储一个资源,覆盖原URL位置的资源 PATCH请求局部更新URL位置的资源,即改变该处资源的部分内容 DELETE请求删除URL位置存储的资源Requests库主要方法方法说明requests.request() 构造一个请求,支撑以下各方法的基础方法requests.get() 获取HTML网页的主要方法,对应于HTTP的GETrequests.head()获取HTML网页头信息的方法,对应于HTTP的HEADrequests.post() 向HTML网页提交POST请求的方法,对应于HTTP的POSTrequests.put() 向HTML网页提交PUT请求的方法,对应于HTTP的PUTrequests.patch()向HTML网页提交局部修改请求,对应于HTTP的PATCHrequests.delete()向HTML页面提交删除请求,对应于HTTP的DELETE

  • requests.request(method,url,**kwargs)
  • method: 请求方式,对应get/put/post等7种
  • url: 拟获取页面的url链接
  • **kwargs: 控制访问的参数,共13个,均为可选项
  1. params: 字典或字节序列,作为参数增加到url中
  2. data: 字典、字节序列或文件对象,作为Request的内容
  3. json: JSON格式的数据,作为Request的内容
  4. headers : 字典,HTTP定制头
  5. cookies : 字典或CookieJar,Request中的cookie
  6. auth: 元组,支持HTTP认证功能
  7. files : 字典类型,传输文件
  8. timeout : 设定超时时间,秒为单位
  9. proxies : 字典类型,设定访问代理服务器,可以增加登录认证
  10. allow_redirects: True/False,默认为True,重定向开关
  11. stream : True/False,默认为True,获取内容立即下载开关
  12. verify : True/False,默认为True,认证SSL证书开关
  13. cert : 本地SSL证书路径
  • requests.get(url,params=None, **kwargs)
  • ∙ url: 拟获取页面的url链接
  • ∙ params: url中的额外参数,字典或字节流格式,可选
  • ∙**kwargs: 12个控制访问的参数