爬取数据-urllib库

一. 怎样扒网页呢？

其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我们就写个例子来扒一个网页下来

from urllib.request import urlopen
response = urlopen("http://www.baidu.com")
print(response.read().decode())

python批量扒网页json数据 python扒取网页数据_User

二. 常见到的方法
1. requset.urlopen(url,data,timeout)
  • 第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
  • 第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
  • 第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。
2. response.read()
  • read()方法就是读取文件里的全部内容，返回bytes类型
3. response.getcode()
  • 返回 HTTP的响应码，成功返回200，4服务器页面出错，5服务器问题
4. response.geturl()
  • 返回 返回实际数据的实际URL，防止重定向问题
5. response.info()
  • 返回 服务器响应的HTTP报头

python批量扒网页json数据 python扒取网页数据_python批量扒网页json数据_02

三. Request对象
1. 其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。比如上面的两行代码，我们可以这么改写
from urllib.request import urlopen
from urllib.request import Request

request = Request("http://www.baidu.com")
response = urlopen(requst)
print(response.read().decode())

运行结果是完全一样的，只不过中间多了一个request对象，推荐大家这么写，因为在构建请求时还需要加入好多内容，通过构建一个request，服务器响应请求得到应答，这样显得逻辑上清晰明确

2. 还可以加入头,假装自己是浏览器访问网页

1） 使用一个头

from urllib.request import urlopen
from urllib.request import Request

url = "http://www.baidu.com"
headers={
    "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
}
request =Request(url,headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())

2）使用多个头并随机使用

from urllib.request import urlopen
from urllib.request import Request
from random import choice

url = "http://www.baidu.com"
user_agents = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
	"Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25"
]
headers={
    "User-Agent":choice(user_agents)
}
request =Request(url,headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())

3）下载fake_useragent包，使用包的功能

from urllib.request import Request,urlopen
from urllib.parse import urlencode
from fake_useragent import UserAgent

url =  "https://www.baidu.com/"

headers={
    "User-Agent":UserAgent().random
}

request = Request(url,headers=headers)
response = urlopen(request)
print(response.read().decode())
四. Get 请求

大部分被传输到浏览器的html，images，js，css, … 都是通过GET方法发出请求的。它是获取数据的主要方法

例如：www.baidu.com 搜索

Get请求的参数都是在Url中体现的,如果有中文，需要转码，这时我们可使用

  • urllib.parse.urlencode()
from urllib.request import Request,urlopen
from urllib.parse import quote

#print(quote("学习"))
url = "https://www.baidu.com/s?wd={}".format(quote("学习"))

headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"
}
request = Request(url,headers=headers)
response = urlopen(request)
print(response.read().decode())
  • urllib.parse. quote()
from urllib.request import Request,urlopen
from urllib.parse import urlencode
from fake_useragent import UserAgent
args={
    "wd":"学习",
    "ie":"utf-8"
}
#print(urlencode(args))
#有出现wd=....,并且多项参数可以自动出现&符号进行合并，比quote方便
url =  "https://www.baidu.com/s?{}".format(urlencode(args))
#print(url)

headers={
    "User-Agent":UserAgent().random
}

request = Request(url,headers=headers)
response = urlopen(request)
print(response.read().decode())
五. Post 请求

我们说了Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对

发送请求/响应header头的含义：

python批量扒网页json数据 python扒取网页数据_python批量扒网页json数据_03

六. 响应的编码

响应状态码

响应状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值。 常见状态码：

python批量扒网页json数据 python扒取网页数据_python_04

七. Ajax的请求获取数据

有些网页内容使用AJAX加载，而AJAX一般返回的是JSON,直接对AJAX地址进行post或get，就返回JSON数据了

八. 请求 SSL证书验证

现在随处可见 https 开头的网站，urllib可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/

如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/的时候，会警告用户证书不受信任。（据说 12306 网站证书是自己做的，没有通过CA认证）

# 忽略SSL安全认证
context = ssl._create_unverified_context()
# 添加到context参数里
response = urllib.request.urlopen(request, context = context)