介绍

Java SpringBoot自动化网页爬虫，以图形化方式定义爬虫流程，不写代码即可完成爬虫。平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台功能根据需要可定制化开发。

特性

  •  支持Xpath/JsonPath/css选择器/正则提取/混搭提取
  •  支持JSON/XML/二进制格式、支持代理
  •  支持多数据源/SQL select/selectInt/selectOne/insert/update/delete
  •  支持爬取JS动态渲染(或ajax)的页面
  •  支持自动保存至数据库/文件
  •  常用字符串、日期、文件、加解密等函数
  •  支持插件扩展(自定义执行器，自定义方法）
  •  任务监控,任务日志
  •  支持HTTP接口
  •  支持Cookie自动管理
  •  支持自定义函数、sql脚本

项目截图 

爬虫列表，可以定义为定时/手动提取方式

Java SpringBoot自动化网页爬虫项目_Java

以获取中国气象台网页天气数据为例，添加流程，定义变量、输出项、提取表达式：

Java SpringBoot自动化网页爬虫项目_爬虫_02

爬取流程定义完成后，点击开始测试，网页数据爬取成功。

Java SpringBoot自动化网页爬虫项目_爬虫_03

提取到的数据可以选择保存到数据库，只需建立数据连接、表结构，对应好输出字段与表字段无需任何开发。

Java SpringBoot自动化网页爬虫项目_Java_04

同时支持动态网页数据爬取，平台引入selenium插件，模拟浏览器运行获取浏览器页面的特定内容。