爬虫的由来简介：
在互联网诞生的年代，许多人建立了自己的网站，但是大家怎么知道别人的网站网址是什么呢？
开始的时候人们都是拿了个本子记下，但是这样的缺点很明显：<1>每有新的就要自己记录<2>只能知道自己的。
于是，就有人想把这些收集起来，以后大家不必自己记录，我帮大家记录，大家有需要找我即可，这就是百度谷歌等搜索引擎公司干的事了。
但是，网站那么多，一个个记录效率低下，也不现实，于是，就有人分析网站，发现很多网站都有像“友情链接”这种超链接，于是他就写个程序自动把网站里的超链接提取出来收录，这样一个超链接里面还有别人的超链接，各个超链接连接起来像一张网一样，而收录程序，通过一个超链接到另外一个超链接，像虫子在网上爬一样，这就是爬虫程序的由来
所以，爬虫程序要做两件事，一下载网页，二分析网页的内容，提取超链接
在python中，下载网页用requests模块，而分析则用BeautifulSoup模块（安装的时候是 pip install BeautifulSoup4）
值得一提的是BeautifulSoup模块，一般网站下载下来后，都是通过正则匹配对应的字段，但是BeautifulSoup根据html的包含关系，分割成了各个对象并树状结构关联（比如<p><li>xxx</li></p> 分割成了p标签对象，p对象里面嵌套li对象），然后提供方法进行正则匹配
一个简单的查找“教育”关键字读后感链接的爬虫程序如下：
import requests,re
from bs4 import BeautifulSoup
for num in range(1,100):
# 这里的网站是根据page_后面加数字来分页的，据此构造url
url="https://www.simayi.net/page_%s/" %num
response=requests.get(url=url)
# 根据返回的编码apparent_encoding 解码
response.encoding=response.apparent_encoding
# 默认分析引擎是html.parser，其他需要安装第三方软件
soup = BeautifulSoup(response.text,'html.parser')
# find()查找第一个匹配得到对象，find_all()查找全部得到对象列表
# attrs表示查找属性值class='post multi'
# 查找类似p标签只需要 find_all('p')
art_list=soup.find_all(attrs={"class",'post multi'})
art_dict={}
for item in art_list:
art_dict[item.find("a").text]=item.find("a").attrs
for k,v in art_dict.items():
if re.search("教育",k, flags=0):
print(k,v)
