streamsets microservice pipeline 试用

streamsets microservice pipeline 试用

实际上还是一个pipeline，只是添加了一些规则以及内嵌的http server 方便我们对于基于http 或者类似轻量
协议数据的处理

基本环境

使用docker&& docker-compose 进行环境搭建，具体参考项目：https://github.com/rongfengliang/streamsets-demos/tree/master/micro-service

• 运行micro-service pipeline 环境

docker-compose up  -d
docker-compose.yaml 内容：
version: "3"
services:
   sets:
     image: streamsets/datacollector 
     volumes:
     - "./ms/data:/data"
     - "./ms/logs:/logs"
     ports:
     - "8000:8000"
     - "18630:18630"

创建基本micro-service pipeline

• 创建demo pipeline（参考下图）

  选择之后会有一个demo micro-service pipeline

• 运行说明

  创建完成之后已经包好了说明，参考下面的内容

• 说明

处理的事情很简单http server 请求输入，对于数据进行路由（get，post 区分），进行不通http verb 的处理并返回结果

运行效果

效果

get 请求

post 请求

err 请求

请求统计

单个pipeline 处理的统计

创建一个快照：

比较全的数据处理组件：

总结

pipeline 结合 http server router 处理数据还是比较方便的，类似的有好多，当前的云原生框架ballerian 就包含一个类似的stream 服务，也是很不错的

参考资料

https://streamsets.com/
https://github.com/rongfengliang/streamsets-demos