最近在做一个爬虫的项目,每次请求过来之后都去爬取数据,但是有可能出现爬不成功的情况。

      那另外开一个go进程每次爬取对应地址的信息,存入mysql。给客户端的地址直接从mysql里面已经爬好的地址给客户端。

     这样保证每次爬取都会有数据。类型缓存,但是缓存不一定非要存入redis,如果数据较多存入mysql也可。