一．parse.urlencode() 与parse.unquote()
urllib 和urllib.request都是接受URL请求的相关模块，但是提供了不同的功能。两个最显著的不同如下：
1.urllib 仅可以接受URL，不能创建 设置了headers 的Request 类实例；
2.但是 urllib 提供 urlencode 方法用来GET查询字符串的产生，而urllib.request 则没有。（这是 urllib 和urllib.request 经常一起使用的主要原因）
3.编码工作使用urllib的parse.urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串，解码工作可以使用urllib的parse.unquote()函数。
一般HTTP请求提交数据，需要编码成 URL编码格式，然后做为url的一部分，或者作为参数传到Request对象中。
例子：
from urllib import parse # 导入parse模块
import urllib.request # 导入request模块
url = 'https://www.baidu.com/s?' # 定义一个字典
wd = {"wd": "温故知新"}
pw = parse.urlencode(wd) # urlencode() 接受的参数是一个字典
print(pw)
wd1 = {"wd1": "温"} # urlencode() 接受的参数是一个字典
pw1 = parse.urlencode(wd1)
print(pw1)
wd2 = {"wd2": "故"}
pw2 = parse.urlencode(wd2)
print(pw2)
wd3 = {"wd3": "知"}
pw3 = parse.urlencode(wd3)
print(pw3)
wd4 = {"wd4": "新"}
pw4 = parse.urlencode(wd4)
print(pw4)
print(parse.unquote(pw)) # 通过parse.unquote()方法进行解码，把 URL编码字符串，转换回原先字符串。
Get方式，urllib库与urllib.request库的结合应用
一：贴吧小爬虫案例
__author__ = 'ALunr'
# date: 2019/5/3
from urllib import parse
import urllib.request
# 写一个爬取网页的函数loadPage
def loadPage(url, filename):
'''
作用：根据url发送请求，获取服务器响应文件
url：需要爬取的url地址
filename: 处理的文件名
'''
print("正在下载" + filename)
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request)
return response.read()
# 将爬取到了每页的信息存储在本地磁盘上，简单写一个存储文件的接口。
def writeFile(html, filename):
"""
作用：保存服务器响应文件到本地磁盘文件里
html: 服务器响应文件
filename: 本地磁盘文件名
"""
print("正在存储" + filename)
with open(filename, 'w') as f:
f.write(html)
print("-" * 20)
# 写一个百度贴吧爬虫接口，我们需要传递3个参数给这个接口，
#一个是main里组合的url地址，以及起始页码和终止页码，表示要爬取页码的范围。
def tiebaSpider(url, beginPage, endPage):
"""
作用：负责处理url，分配每个url去发送请求
url：需要处理的第一个url
beginPage: 爬虫执行的起始页面
endPage: 爬虫执行的截止页面
"""
for page in range(beginPage, endPage + 1):
pn = (page - 1) * 50
filename = "第" + str(page) + "页.html"
fullurl = url + "&pn=" + str(pn) # 组合为完整的 url，并且pn值每次增加50
print(fullurl)
print(filename)
html = loadPage(fullurl, filename) # 调用loadPage()发送请求获取HTML页面
writeFile(html, filename) # 将获取到的HTML页面写入本地磁盘文件
# 先写一个main，提示用户输入要爬取的贴吧名，并用parse.urlencode()
# 进行转码，然后组合url，假设是lol吧，那么组合后的url就是：http: // tieba.baidu.com / f?kw = lol
# 模拟 main 函数
if __name__ == "__main__":
kw = input("请输入需要爬取的贴吧:")
# 输入起始页和终止页，str转成int类型
beginPage = int(input("请输入起始页："))
endPage = int(input("请输入终止页："))
url = "http://tieba.baidu.com/f?"
key = parse.urlencode({"kw": kw})
url = url + key
print(url) # 组合后的url示例：http://tieba.baidu.com/f?kw=lol
tiebaSpider(url, beginPage, endPage)
