一. 简介
urllib.request.urlopen()函数用于实现对目标url的访问。
函数原型如下:urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
url: 需要打开的网址
data:Post提交的数据
timeout:设置网站的访问超时时间
直接用urllib.request模块的urlopen()获取页面,page的数据格式为bytes类型,需要decode()解码,转换成str类型。
二. 函数参数介绍
1. url 参数:目标资源在网路中的位置。可以是一个表示URL的字符串(如:http://www.pythontab.com/);也可以是一个urllib.request对象,详细介绍请跳转
2. data参数:data用来指明发往服务器请求中的额外的参数信息(如:在线翻译,在线答题等提交的内容),data默认是None,此时以GET方式发送请求;当用户给出data参数的时候,改为POST方式发送请求。
3. timeout:设置网站的访问超时时间
4. cafile、capath、cadefault 参数:用于实现可信任的CA证书的HTTP请求。(基本上很少用)
5. context参数:实现SSL加密传输。(基本上很少用)
三. 返回处理方法详解
urlopen返回对象提供方法:
read() , readline() ,readlines() , fileno() , close() :对HTTPResponse类型数据进行操作
info():返回HTTPMessage对象,表示远程服务器返回的头信息
getcode():返回Http状态码。如果是http请求,200请求成功完成;404网址未找到
geturl():返回请求的url
四. 版本区别, 注意事项
python2和python3在导入urlrequest的方式都不一样。
python2是这样:import urllib2
而python3里面把urllib分开了,分成了urlrequest和urlerror,在这里我们只需导入urlrequest即可。from urllib.request import urlopen
五. 实例
下面这个程序,实现了urlopen()函数的大部分功能,特别是data参数。data自定义,data格式转换,数据的编码encode()和解码decode()。
#
#coding=utf-8
#Python3.x
'''
利用有道翻译进行在线翻译
'''
import urllib.request
import urllib.parse
import json
def traslate(words):
#目标URL
targetURL = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
#用户自定义表单,words表示的是用户要翻译的内容。这里使用的是dict类型,也可以使用元组列表(已经试过的)。
data = {}
data['type'] = 'AUTO'
data['i'] = words
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
#将自定义data转换成标准格式
data = urllib.parse.urlencode(data).encode('utf-8')
#发送用户请求
html = urllib.request.urlopen(targetURL, data)
#读取并解码内容
rst = html.read().decode("utf-8")
rst_dict = json.loads(rst)
return rst_dict['translateResult'][0][0]['tgt']
if __name__ == "__main__":
print("输入字母q表示退出")
while True:
words = input("请输入要查询的单词或句子:\n")
if words == 'q':
break
result = traslate(words)
print("翻译结果是:%s"%result)
————————————————
版权声明:本文为CSDN博主「网络毒刘」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_41856814/article/details/99658108
# coding:utf-8
from urllib import request
from urllib import parse
url = "http://10.1.2.151/ctower-mall-c/sys/login/login.do"
data = {"id":"wdb","pwd":"wdb"}
params="?"
for key in data:
params = params + key + "=" + data[key] + "&"
print("Get方法参数:"+params)
headers = {
#heard部分直接通过chrome部分request header部分
'Accept':'application/json, text/plain, */*',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,zh;q=0.8',
'Connection':'keep-alive',
'Content-Length':'14', #get方式提交的数据长度,如果是post方式,转成get方式:【id=wdb&pwd=wdb】
'Content-Type':'application/x-www-form-urlencoded',
'Referer':'http://10.1.2.151/',
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.23 Mobile Safari/537.36'
}
# Request方法接受bytes类型,所以要转换类型.encode('utf-8')
data = parse.urlencode(data).encode('utf-8')
#POST方法 请求路径中的参数作为Request()方法一个参数传入
req = request.Request(url, headers=headers, data=data)
# GET方法 请求中的参数通过?和路径拼接
#req = request.Request(url+params)
page = request.urlopen(req).read()
page = page.decode('utf-8')
print(page)
urllib.parse.urlencode():URL 中的键值对格式化一下,以连接符 & 划分
import urllib
import requests
params=urllib.urlencode({'a':1,'b':2,'c':0})
# params=‘a=2&b=0&c=1’
url="http://xxx.xxx/query"
paurl = '%s?%s' % (url,params)
ar = requests.get(paurl)
request.Request
request.urlopen