第一步:进入要发布的项目,修改scrapy.cfg文件;

  发布项目到scrapyd_IT业界

  修改[deploy]为[deploy:100],表示把爬虫发布到名为100的爬虫服务器上,一般在需要同时发布爬虫到多个目标

服务器时使用。下面我们取消注释,并将发布的project命名为:DOUYU。

  使用命令: scrapyd-deploy <tartget> -p <project> --version <version> 在终端发布项目到scrapyd.

    Target:deploy后面的名称。可以为空

    Project:自行定义名称,跟爬虫的工程名字无关。

    Version:自定义版本号,不写的话默认为当前时间戳。

  发布:

  发布项目到scrapyd_IT业界_02

  网页刷新之后,会显示发布上去的项目:

  发布项目到scrapyd_IT业界_03

创建运行爬虫任务:

  命令: curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name

  报错:显示命令 Command 'curl' not found, but can be installed with:  sudo apt install curl

  根据提示安装curl,在终端输入: sudo apt install curl

  再次输入创建运行爬虫任务的命令:

    curl http://localhost:6800/schedule.json -d project=DOUYU -d spider=yanzhi

    其中:DOUYU为发布的项目显示名,yanzhi为spiders文件里爬虫文件名。

  发布项目到scrapyd_IT业界_04

  上面的命令输入之后,可以看见服务器开启爬虫任务,爬虫项目数据保存的位置也会出现数据,也就是说,爬

虫文件开始运行,数据得到保存。

 

    

 

清澈的爱,只为中国