一个简单的爬虫程序所必备的模块
(一)爬虫调度器
对整个爬虫过程的开启，服务以及停止进行管理和把控
(二)爬虫器
爬虫程序的主体部分，属于核心组件。主要分为三大块
(1)URL管理器：对将要爬取的URL和已经爬取得URL进行管理，主要作用就是防止反复爬取以及循环爬取。
实现方式：内存(python的set)，关系性数据库(mysql,sqlserver等)，缓存数据库(redis)。
(2)网页下载器：将待下载的网页下载下来并已字符串的形式保存下来。
实现方式：python内置模块，urllib;第三方模块，requests等。
(3)网页解析器：将已经下载下来的网页字符串进行解析，从中提取有价值的数据存储起来以及将此网页中存在的其他网页URL传送到URL管理器进行闭环操作。
实现方式：模糊匹配，正则表达式;结构化解析(DOM树)，html.parser,lxml,BeautifulSoup等。(二)网页输出器
或者称之为数据储存器，将有价值的数据进行目的性的输出与展示，比如输出到各种数据库中存储起来，一些应用程序中进行展示等
爬虫程序运行流程图
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
