作为一门编程言语而言，Python是纯粹的自由软件，以简练明晰的语法和强制运用空白符进行句子缩进的特点然后深受程序员的喜爱。举一个比如：完结一个使命的话，c言语一共要写1000行代码，java要写100行，而python则只需要写20行的代码。运用python来完结编程使命的话编写的代码量更少，代码简练简略可读性更强，一个团队进行开发的时分读别人的代码会更快，开发功率会更高，使作业变得愈加高效。
这是一门十分适合开发网络爬虫的编程言语，并且相比于其他静态编程言语，Python抓取网页文档的接口更简练；相比于其他动态脚本言语，Python的urllib2包提供了较为完整的访问网页文档的API.此外，python中有优异的第三方包能够高效完结网页抓取，并可用极短的代码完结网页的标签过滤功用。
1. URL办理器：办理待爬取的url调集和已爬取的url调集，传送待爬取的url给网页下载器；
2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器；
3. 网页解析器：解析出有价值的数据，存储下来，一起补充url到URL办理器。
（Python爬虫经过URL办理器，判别是否有待爬URL,假如有待爬URL,经过调度器进行传递给下载器，下载URL内容，并经过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表经过调度器传递给应用程序，并输出价值信息的过程。）
作为一门编程言语而言，Python是纯粹的自由软件，以简练明晰的语法和强制运用空白符进行句子缩进的特点然后深受程序员的喜爱。举一个比如：完结一个使命的话，c言语一共要写1000行代码，java要写100行，而python则只需要写20行的代码。运用python来完结编程使命的话编写的代码量更少，代码简练简略可读性更强，一个团队进行开发的时分读别人的代码会更快，开发功率会更高，使作业变得愈加高效。
这是一门十分适合开发网络爬虫的编程言语，并且相比于其他静态编程言语，Python抓取网页文档的接口更简练；相比于其他动态脚本言语，Python的urllib2包提供了较为完整的访问网页文档的API.此外，python中有优异的第三方包能够高效完结网页抓取，并可用极短的代码完结网页的标签过滤功用。
1. URL办理器：办理待爬取的url调集和已爬取的url调集，传送待爬取的url给网页下载器；
2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器；
3. 网页解析器：解析出有价值的数据，存储下来，一起补充url到URL办理器。
（Python爬虫经过URL办理器，判别是否有待爬URL,假如有待爬URL,经过调度器进行传递给下载器，下载URL内容，并经过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表经过调度器传递给应用程序，并输出价值信息的过程。）
