本篇将介绍如何使用Requests来做接口测试
首先先确认一下事情:
- Requests is installed
- Requests is up-to-date
先从一些简单的例子开始。
创建一个请求
用Requests来创建一个请求是很简单的。
先导入Requests模块:
>>> import requests
我们来尝试获取一个网页。看以下例子:
>>> r = requests.get('https://api.github.com/events')
现在有一个名为r的Response对象。可以从这个对象中获取所有的网页信息。
Requests的简单API意味着所有形式的HTTP请求都是显而易见的。例如,可以这样写POST请求:
>>> r = requests.post('https://httpbin.org/post', data = {'key':'value'})
其他类型的HTTP请求:PUT,DELETE,HEAD和OPTIONS都十分简单:
>>> r = requests.put('https://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('https://httpbin.org/delete')
>>> r = requests.head('https://httpbin.org/get')
>>> r = requests.options('https://httpbin.org/get')
在URL中传递参数
你是否希望在URL的查询字符串中发送一些数据。如果手动构建URL,则这些数据会写在问号后作为URL中的key/value给出,如 httpbin.org/get?key=val。
Requests允许你使用params关键字参数,将这些参数作为字符串字典提供。举例来说, 如果你想传 key1=value1
和 key2=value2
给 httpbin.org/get
, 你可以这样写:
>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get('https://httpbin.org/get', params=payload)
您可以通过打印URL看到URL已正确编码:
>>> print(r.url)
https://httpbin.org/get?key2=value2&key1=value1
注意任何字典key对应的valule如果为 None
都不会被添加到URL的查询字符串中.
你还可以将列表作为value:
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
>>> r = requests.get('https://httpbin.org/get', params=payload)
>>> print(r.url)
https://httpbin.org/get?key1=value1&key2=value2&key2=value3
响应内容
我们可以读出服务器响应的内容:
>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r.text
u'[{"repository":{"open_issues":0,"url":"https://github.com/...
Requests将自动解码来自服务器的内容。 大多数unicode字符集都是无缝解码的。
当你发出请求时,Requests会根据HTTP头对响应的编码进行有根据的猜测。当你访问 r.text
时,将使用由Requests猜测的文本编码。你可以使用 r.encoding
属性找出Requests正在使用的编码,并进行更改:
>>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1'
如果更改编码,当你调用 r.text
时,Requests就会使用 r.encoding
的新值。你可能希望在任何可以应用特殊逻辑来计算内容编码的情况下执行此操作。例如,HTML和XML可以在其正文中指定其编码。在这种情况下,你应该使用 r.content
查找编码,然后设置 r.encoding
。这样你在使用 r.text
时就会是正确的编码了。
如果你需要,Requests也可以使用自定义编码。如果你已创建了自己的编码并使用了 codecs
模块注册过了,则只需使用编解码器名称作为 r.encoding
的值,并且Requests将为您处理解码。
二进制响应内容
对于非文本请求,你还可以以字节为单位访问响应正文:
>>> r.content
b'[{"repository":{"open_issues":0,"url":"https://github.com/...
gzip
和 deflate
传输编码会自动为你解码。
例如,要从请求返回的二进制数据创建映像,可以使用以下代码:
>>> from PIL import Image
>>> from io import BytesIO
>>> i = Image.open(BytesIO(r.content))
JSON响应内容
如果你正在处理JSON数据,还有一个内置的JSON解码器:
>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r.json()
[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...
如果JSON解码失败, r.json()
会引发异常。例如,如果响应获得204(无内容),或者响应包含无效的JSON,则尝试 r.json()
会引发 ValueError: No JSON object could be decoded
.
应该注意的是,对 r.json()
的调用成功并不表示响应成功。某些服务器可能会在失败的响应中返回JSON对象(例如,使用HTTP 500的错误详细信息)。 这样的JSON将被解码并返回。 要检查请求是否成功,请使用 r.raise_for_status()
或检查 r.status_code
是否符合预期。
原始响应内容
在极少数情况下,你希望从服务器获取原始socket响应,您可以访问 r.raw
。如果要执行此操作,请确保在初始请求中设置 stream=True
。你可以这样写:
>>> r = requests.get('https://api.github.com/events', stream=True)
>>> r.raw
<urllib3.response.HTTPResponse object at 0x101194810>
>>> r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'
但是,一般情况下,你应该使用这样的模式来保存流式传输到文件的内容:
with open(filename, 'wb') as fd:
for chunk in r.iter_content(chunk_size=128):
fd.write(chunk)
当直接使用 Response.raw
时,使用 Response.iter_content
将处理很多您必须处理的事情。 流式下载时,以上是检索内容的首选和推荐方法。 请注意, chunk_size
可以自由调整为更适合您的用例的数字。
注意
关于使用 Response.iter_content
与 Response.raw
的重要说明。 Response.iter_content
将自动解码 gzip
并 deflate
传输编码。 Response.raw
是原始的字节流-它不会转换响应内容。 如果您确实需要访问返回的字节,请使用 Response.raw
。
自定义Headers
如果您想将HTTP headers添加到请求中,只需将一个 dict
传递给 headers
参数即可。
例如,在上一个示例中,我们没有指定用户代理:
>>> url = 'https://api.github.com/some/endpoint'
>>> headers = {'user-agent': 'my-app/0.0.1'}
>>> r = requests.get(url, headers=headers)
注意:自定义headers的优先级低于更具体的信息源。 例如:
- 如果在
.netrc
中指定了证书,则使用headers =的授权headers将被覆盖,然后将被auth=
参数覆盖。 - 如果你脱离主机重定向,则将删除授权headers。
- URL中提供的代理证书将覆盖Proxy-Authorization headers。
- 当我们可以确定内容的长度时,Content-Length headers将被覆盖。
此外,“请求”根本不会根据指定的自定义headers更改其行为。 headers只是传递到最终请求中。
注意:所有header的值必须是字符串,字节字符串或unicode。 建议在允许的情况下,避免传递unicodeheader值。
更复杂的POST请求
通常,你希望发送一些表单编码的数据,就像HTML表单一样。 为此,只需将字典传递给 data
参数即可。 提出请求后,您的数据字典将自动进行表单编码:
>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.post("https://httpbin.org/post", data=payload)
>>> print(r.text)
{
...
"form": {
"key2": "value2",
"key1": "value1"
},
...
}
data
参数中一个key可以有多个value。 这可以通过使 data
成为元组列表或以列表为值的字典来完成。 当表单具有使用同一key的多个元素时,这特别有用:
>>> payload_tuples = [('key1', 'value1'), ('key1', 'value2')]
>>> r1 = requests.post('https://httpbin.org/post', data=payload_tuples)
>>> payload_dict = {'key1': ['value1', 'value2']}
>>> r2 = requests.post('https://httpbin.org/post', data=payload_dict)
>>> print(r1.text)
{
...
"form": {
"key1": [
"value1",
"value2"
]
},
...
}
>>> r1.text == r2.text
True
有时候,你可能想发送未经格式编码的数据。 如果您传递的是 string
而不是 dic
,则该数据将直接发布。
例如,GitHub API v3接受JSON编码的POST / PATCH数据:
>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> r = requests.post(url, data=json.dumps(payload))
除了自己对 dict
进行编码外,您还可以使用 json
参数(版本2.4.2中添加)直接传递它,它将自动进行编码:
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> r = requests.post(url, json=payload)
请注意,如果传了 data
或 files
,则会忽略 json
参数。
在请求中使用 json
参数会将header中的 Content-Type
更改为 application/json
。
发布多部分编码的文件
通过请求,可以轻松上传多部分编码的文件:
>>> url = 'https://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "<censored...binary...data>"
},
...
}
你还可以设置文件名,content_type和headers:
>>> url = 'https://httpbin.org/post'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}
>>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "<censored...binary...data>"
},
...
}
如果需要,你还可以发送字符串作为文件接收:
>>> url = 'https://httpbin.org/post'
>>> files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}
>>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "some,data,to,send\\nanother,row,to,send\\n"
},
...
}
如果你要发布很大的文件作为一个 multipart/form-data
请求,则可能需要流式传输请求。 默认情况下, requests
不支持此功能,但是有一个单独的软件包-requests-toolbelt
。 你应该阅读 the toolbelt’s documentation 以获取有关使用方法的更多详细信息。
要在一个请求中发送多个文件,请参阅 advanced 部分。
警告
强烈建议您以二进制模式打开文件。 这是因为请求可能会尝试为您提供 Content-Length
header,如果这样做,此值将被设置为文件中的字节数(bytes)。 如果以文本模式(text mode)打开文件,可能会发生错误。
响应状态码
我们可以检查响应状态代码:
>>> r = requests.get('https://httpbin.org/get')
>>> r.status_code
200
请求还带有内置的状态码查找对象,以方便参考:
>>> r.status_code == requests.codes.ok
True
如果我们提出了错误的请求(4XX客户端错误或5XX服务器错误响应),则可以使用 Response.raise_for_status()引发该请求:
>>> bad_r = requests.get('https://httpbin.org/status/404')
>>> bad_r.status_code
404
>>> bad_r.raise_for_status()
Traceback (most recent call last):
File "requests/models.py", line 832, in raise_for_status
raise http_error
requests.exceptions.HTTPError: 404 Client Error
但是,由于我们的r状态代码为200,所以当我们调用 raise_for_status()
时,我们得到:
>>> r.raise_for_status()
None
响应Headers
我们可以使用Python字典查看服务器的响应headers:
>>> r.headers
{
'content-encoding': 'gzip',
'transfer-encoding': 'chunked',
'connection': 'close',
'server': 'nginx/1.0.4',
'x-runtime': '148ms',
'etag': '"e1ca502697e5c9317743dc078f67693f"',
'content-type': 'application/json'
}
不过,字典很特殊:它仅用于HTTP headers。 根据 RFC 7230,HTTP Header名称不区分大小写。
因此,我们可以使用所需的任何大写字母访问标头:
>>> r.headers['Content-Type']
'application/json'
>>> r.headers.get('content-type')
'application/json'
还有特别之处在于,服务器可以多次发送具有不同值的相同header,但是请求将它们组合在一起,以便可以按照 RFC 7230在单个映射中的字典中表示它们:
接收者可以通过将每个随后的字段值按顺序附加到合并后的字段值上并用逗号分隔,将多个具有相同字段名的头字段组合成一对“field-name: field-value”,而不改变消息的语义。
Cookies
如果响应中包含一些Cookie,你可以快速访问它们:
>>> url = 'http://example.com/some/cookie/setting/url'
>>> r = requests.get(url)
>>> r.cookies['example_cookie_name']
'example_cookie_value'
要将你自己的cookie发送到服务器,可以使用 cookies
参数:
>>> url = 'https://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working')
>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'
Cookie是在RequestsCookieJar中返回的,其行为类似于 dict
,但还提供了更完整的界面,适用于多个域或路径。 Cookie jars也可以传递给请求:
>>> jar = requests.cookies.RequestsCookieJar()
>>> jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
>>> jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
>>> url = 'https://httpbin.org/cookies'
>>> r = requests.get(url, cookies=jar)
>>> r.text
'{"cookies": {"tasty_cookie": "yum"}}'
重定向和历史
默认情况下,请求将对HEAD以外的所有动词执行位置重定向。
我们可以使用Response对象的 history
属性来跟踪重定向。
Response.history 列表包含为完成请求而创建的 Response 对象。 该列表按从最早到最新的响应排序。
例如,GitHub将所有HTTP请求重定向到HTTPS:
>>> r = requests.get('http://github.com/')
>>> r.url
'https://github.com/'
>>> r.status_code
200
>>> r.history
[<Response [301]>]
如果您使用的是GET,OPTIONS,POST,PUT,PATCH或DELETE,则可以使用 allow_redirects
参数禁用重定向处理:
>>> r = requests.get('http://github.com/', allow_redirects=False)
>>> r.status_code
301
>>> r.history
[]
如果你使用的是HEAD,则还可以启用重定向:
>>> r = requests.head('http://github.com/', allow_redirects=True)
>>> r.url
'https://github.com/'
>>> r.history
[<Response [301]>]
超时
你可以使用 timeout
参数告诉请求在给定的秒数后停止等待响应。 几乎所有生产代码都应在几乎所有请求中使用此参数。 否则,可能会导致程序无限期挂起:
>>> requests.get('https://github.com/', timeout=0.001)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)
注意
timeout
不是整个响应下载的时间限制; 相反,如果服务器在 timeout
秒数内未发出响应(更确切地说,如果在 timeout
秒数内未在基础套接字上接收到任何字节),则会引发异常。 如果未明确指定超时,则请求不会超时。
错误和异常
Requests will raise a ConnectionError
exception.如果出现网络问题(例如DNS故障,连接被拒绝等),请求将引发 ConnectionError
异常。
如果HTTP请求返回的状态码失败,则Response.raise_for_status()将引发 HTTPError
。
如果请求超时,则会引发超时异常。
如果请求超过配置的最大重定向数,则会引发 TooManyRedirects
异常。
请求显式引发的所有异常均继承自 requests.exceptions.RequestException
。