看larbin源码看看的,感觉脑子里思路乱急了,整理整理。

larbin工作的主要步骤就是:

首先,初始化各种变量,等等。

然后进行dns解析

解析完后,进行抓取。

中间涉及到sequencer()这个函数,进行url调度,而在调度的时候又有很多问题。包括hash等问题。

 

现在就先弄清关于调度中的问题。 恩 !