streamsets excel 数据处理

streamsets 有一个directory的origin 可以方便的进行文件的处理,支持的格式也比较多,使用简单

pipeline flow

streamsets excel 数据处理_分享

配置

  • excel 数据copy

    因为使用的是容器,会有数据copy 容器的一步

容器id 结合实际查询:
docker cp data/ containerid:/data/excel
  • 配置directory
    streamsets excel 数据处理_分享_02
    streamsets excel 数据处理_分享_03
  • local fs 配置
    streamsets excel 数据处理_分享_04

运行

  • excel 数据格式
    streamsets excel 数据处理_分享_05
  • 运行效果
    streamsets excel 数据处理_分享_06
    streamsets excel 数据处理_分享_07

参考资料

https://github.com/rongfengliang/streamsets-demos
https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Origins/Directory.html#concept_qcq_54n_jq