最近在做一个爬虫的项目,每次请求过来之后都去爬取数据,但是有可能出现爬不成功的情况。
那另外开一个go进程每次爬取对应地址的信息,存入mysql。给客户端的地址直接从mysql里面已经爬好的地址给客户端。
这样保证每次爬取都会有数据。类型缓存,但是缓存不一定非要存入redis,如果数据较多存入mysql也可。
最近在做一个爬虫的项目,每次请求过来之后都去爬取数据,但是有可能出现爬不成功的情况。
那另外开一个go进程每次爬取对应地址的信息,存入mysql。给客户端的地址直接从mysql里面已经爬好的地址给客户端。
这样保证每次爬取都会有数据。类型缓存,但是缓存不一定非要存入redis,如果数据较多存入mysql也可。
首先要安装jmeter2.4版本的,而且不建议大家使用badboy,因为这
运维平台 F5运行监控javascript引用方式
举报文章
请选择举报类型
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG,图片不超过1.9M