精简修改自官方文档:
urllib - URL handling modules - Python 3.8.5 documentationdocs.python.org
urllib.request模块定义了有助于在复杂环境中打开URL(主要是HTTP)的函数和类-基本身份验证和摘要身份验证,重定向,Cookie等。
另请参见对于更高级别的HTTP客户端界面,建议使用Requests包。
urllib.request.urlopen(URL,data = None,[timeout,] *,cafile = None,capath = None,cadefault = False,context = None)
打开URL,它可以是字符串或Request对象。
data必须是一个指定要发送到服务器的其他数据的对象,如果不需要,则为None。 有关详细信息,请参见请求。
urllib.request模块使用HTTP / 1.1,并在其HTTP请求中包含Connection:close标头。
可选的timeout参数以秒为单位指定用于阻止连接尝试之类的操作的超时(如果未指定,将使用全局默认超时设置)。 这实际上仅适用于HTTP,HTTPS和FTP连接。
该函数总是返回一个可以用作上下文管理器的对象,并具有诸如
geturl()—返回所获取资源的URL,通常用于确定是否遵循了重定向
info()—以email.message_from_string()实例的形式返回页面的元信息,例如标头(请参阅HTTP标头快速参考)
getcode()–返回响应的HTTP状态代码。
对于HTTP和HTTPS URL,此函数返回一个经过稍微修改的http.client.HTTPResponse对象。 除了上面的三个新方法外,msg属性还包含与原因属性(服务器返回的原因短语)相同的信息,而不是HTTPResponse文档中指定的响应头。
对于由旧版URLopener和FancyURLopener类显式处理的FTP,文件和数据URL和请求,此函数返回urllib.response.addinfourl对象。
在协议错误时引发URLError。
请注意,如果没有处理程序处理该请求,则可能不会返回None(尽管默认安装的全局OpenerDirector使用UnknownHandler来确保永远不会发生)。
另外,如果检测到代理设置(例如,当设置了* _proxy环境变量(例如http_proxy)时),则默认安装ProxyHandler并确保通过代理处理请求。
Python 2.6和更早版本的旧版urllib.urlopen函数已停止使用; urllib.request.urlopen()对应于旧的urllib2.urlopen。 可以通过使用ProxyHandler对象来获得代理处理,该处理是通过将字典参数传递给urllib.urlopen来完成的。
默认的打开程序将引发审核事件urllib.Request,其参数为fullURL,数据,标头,从请求对象获取的方法。
转载一个教程:
https://zhuanlan.zhihu.com/p/53638189zhuanlan.zhihu.com
request模块的urlopen函数,我们来看一下其参数的介绍:
urllib.request.urlopen(url, data=None, [timeout, ])
传入的url就是你想抓取的地址;
data是指向服务器提交信息时传递的字典形式的信息,通常来说就是爬去需要登录的网址时传入的用户名和密码,可省略。
timeout参数指的是超时时间,也可省略。
下面我们试举一例,来抓取新浪首页,并保存到本地:
import urllib.request as eq
url='https://www.sina.com.cn/'#抓取的网址
file=eq.urlopen(url).read()#读取信息
path=open('D:/python36/pachong/网页/sina.html','wb')#已写入二进制的方式创建文件
path.write(file)#写入爬下的信息
path.close()#关闭文件
运行之后,我们在对应路径下的文件结果如下:
打开爬下来的名为sina的文件:
此时,新浪网首页被我们抓取下来。
2、添加头信息。
在抓取网页的时候,我们会遇到一些反爬虫的设置,比如说服务器读取到请求为爬虫时会出现403错误,这是我们就需要伪装成为浏览器来访问,此时要添加头信息。在network(网络)的选项中选取user-agent选项,复制下来。
我的头信息是这样的:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134
有了头信息,上述代码我们可以修改一下:
import urllib.request as eq
url='https://www.sina.com.cn/'#抓取的网址
req=eq.Request(url)#创建Request对象
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134')#添加头信息
file=eq.urlopen(url).read()#读取信息
path=open('D:/python36/pachong/网页/sina.html','wb')#已写入二进制的方式创建文件
path.write(file)#写入爬下的信息
path.close()#关闭文件
此时我们已经伪装成了浏览器。
3、代理服务器设置。
现在我们已经学会了伪装成浏览器去抓取网页,那么如果遇到更厉害的反扒手段,发现某一个IP频繁访问网址,会被服务器屏蔽,那么该怎么办呢?这是就需要代理服务器上场了。
首先代理服务器在百度上搜索一下,有很多,我们随便点进去一个:
我们选取第一个:218.22.65.606:0088即IP:端口号
接下来,我们上述代码可以修改成如下:
import urllib.request as eq
url='https://www.sina.com.cn/'#抓取的网址
req=eq.Request(url)#创建Request对象
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134')#添加头信息
IP=eq.ProxyHandler({'http':218.22.65.606:0088})#设置代理服务器信息
opener=eq.build_opener(IP,eq.HTTPHandler)#自定义打开方式,传入代理服务器信息和HTTPHandler类
file=opener.open(req).read()#读取信息
path=open('D:/python36/pachong/网页/sina.html','wb')#已写入二进制的方式创建文件
path.write(file)#写入爬下的信息
path.close()#关闭文件