广度优先爬虫 python scrapy 广度优先_递归

 

 

网站树形结构

广度优先爬虫 python scrapy 广度优先_python 爬虫_02

 

深度优先

是从左到右深度进行爬取的,以深度为准则从左到右的执行(递归方式实现)Scrapy默认是深度优先的

广度优先爬虫 python scrapy 广度优先_广度优先爬虫 python_03

 

广度优先爬虫 python scrapy 广度优先_递归_04

 

 


广度优先

是以层级来执行的,(列队方式实现)

广度优先爬虫 python scrapy 广度优先_深度优先_05

 

 

广度优先爬虫 python scrapy 广度优先_广度优先爬虫 python_06