网络爬虫，也可以叫做网络数据采集，通过多种方式采集网络数据，不仅是通过API交互或者浏览器的方式，而是写一个自动化的程序向网络服务器请求获取数据，一般我们是获得HTML表单或者类似的网页文件，然后对数据进行解析提取需要的信息。
一般来说，网络数据采集，都是通过网络域名获取HTML数据，然后根据目标信息解析数据，存储目标信息，还有可能移动到另一个网页重复这个过程。所以网络爬虫基本上就是这样的过程。
所以我们首先要做的是，怎么把网络文件获取下来。先了解一下使用的python库吧，我们做小型的爬虫用request库就够用了。
requests库
首先需要安装requests库：最简单方便的方法当然是pip:
pip install requests然后在python IDLE上测试一下能否正常导入就可以检测是否安装成功啦
requests库，一个python的HTTP库，request主要有7个方法如下：
方法 | 描述 |
request() | 构造一个请求，支撑其余方法的基础方法 |
get() | 获取HTML网页的主要方法，对应于HTTP的GET |
head() | 获取网页的主要方法，对应于HTTP的HEAD方法 |
post() | 向HTML网页提交POST请求的方法，对应于HTTP的POST |
put() | 向HTML网页提交PUT请求的方法，对应于HTTP的PUT |
patch() | 向HTML网页提交局部修改请求的方法，对应于HTTP的PATCH |
delete() | 向HTML页面提交删除请求，对应于HTTP的DELETE |
相应的HTTP基础知识
HTTP是一个基于“请求与响应”模式的，无状态的应用层协议，采用URL作为定向网络资源的标识。URL是通过HTTP协议存取资源的Internet路径，一个URL通常对应一个数据资源。URL的格式http:host[port][path]，host是合法的Internet主机名、域名等IP地址，port是端口号，缺省时默认端口是80，path是请求资源的路径。
HTTP协议对资源的操作：
方法 | 描述 |
GET | 请求获取URL位置的资源 |
HEAD | 请求获取URL位子资源的响应消息报告，即获得该资源的头部信息 |
POST | 请求向URL位置的资源后附加新的数据 |
PUT | 请求向URL位置存储一个资源，会覆盖原资源 |
PATCH | 请求局部更新URL位置的资源，即改变该处资源的部分内容 |
DELETE | 请求删除URL位置存储的资源 |
PUT和PATCH的区别在于，PATCH仅仅只向URL提交局部更新请求，可以节省网络带宽；PUT将所有的字段一并更改，原内容中的一些字段更改的新内容中如果没有就会被删除。
首要的是request方法，其他的方法都是由它引出的 requests.request(method,url,**kwargs)
-
method:请求方式，对应get/post/put/等7种。 -
url:拟获取页面的URL链接 -
**kwargs:控制访问的参数，共13个，均为可选项
参数名 | 作用 |
params | 字典或者字节序列，作为参数增加到URL中 |
data | 字典，字节序列或文件对象，作为request中的内容 |
json | json格式的数据，作为request的内容 |
headers | 字典，HTTP的定制头 |
cookies | 字典或cookieJar，request中的cookie |
auth | 元组，支持HTTP认证功能 |
files | 字典类型，传输文件 |
timeout | 设置超时时间，以秒为单位 |
proxies | 字典类型，设定访问代理服务器，可以增加登录认证 |
allow_redirects | True/False默认为True重定向开关 |
stream | True/Flase,默认为True，获取内容即下载开关 |
verify | True/Flase,默认为True，认证SSL证书开关 |
cert | 本地SSL证书路径 |
其他方法：
request.get(url,params=None,**kwargs)request.head(url,**kwargs)request.post(url,data=None,json=None,**kwargs)request.put(url,data=None,**kwargs)request.patch(url,data=None,**kwargs)request.delete(url,**kwargs)
最常用get方法来获取页面r=requests.get() get方法会构造一个向服务器请求资源的Request对象，执行之后会返回一个包含服务器资源的Response对象，我们让r指向返回的对象。
Response对象的属性有：
属性 | 描述 |
r.status_code | HTTP请求的返回状态，200表示连接成功，404表示失败 |
r.text | HTTP响应内容的字符串形式，即URL对应的页面内容 |
r.encoding | 从HTTP的header中获取的响应内容的编码形式 |
r.apparent_encoding | 根据文本内容分析响应内容的编码方式 |
r.content | HTTP响应的二进制形式 |
一般来说，我们常用r.raise_for_status()方法，这个方法自身可以判断r.status_code是否为200，然后我们就可以使用try...except进行异常处理。
我们当然希望每次Requests都能成功的返回正常的Response，但不是每次都会这么幸运的，Request还是有很多异常情况需要处理的。下面的Request异常表就列举了触发的一些异常。
异常 | 描述 |
requests.ConnectionError | 网络连接错误异常，如DNS查询失败，拒绝连接等 |
requests.HTTPError | HTTP错误异常 |
requests.URLRequired | URL缺失异常 |
requests.TooManyRedirects | 超过最大重定向次数，产生重定向异常 |
requests.ConnectTimeout | 连接远程服务器超时异常 |
requests.Timeout | 请求URL超时，产生超时异常 |
r.raise_for_status() | 若状态码不是200，引发HTTPError异常 |
爬虫通用代码框架：
def get_html_text(url):
try:
r = request.get(url,timeout=30)
r.raise_for_status() # 检查状态码是否为200，也就是是否成功获取页面
# 默认coding采用header中的定义，常更该为根据文本判断的编码方式
r.coding = r.apparent_encodeing
# header中不存在charset,则默认编码为ISO-8859-1
# r.text根据r.encoding显示网页内容
return r.text
except:
return "产生异常"
...
