StreamSets Data Collector TM是一种轻量级,功能强大的设计和执行引擎,可实时传输数据。使用数据收集器来路由和处理数据流中的数据。

1.低代码有图有真相

  • 简单可视化
  • 低代码es 低代码etl_ETL

  • 基于配置的组件
  • 低代码es 低代码etl_大数据挖掘_02

  • 通过2可以配置组件参数。
  • 所见即所得的调试
  • 低代码es 低代码etl_ETL_03

  • 调试期间,直接可以通过2查看每个组件的流入流出数据.
  • 运行期监视
  • 低代码es 低代码etl_新星计划_04

  • 通过2,3可以快速浏览统计数据。
  • 故障快照
  • 低代码es 低代码etl_大数据挖掘_05

  • 错误自动收集
  • 低代码es 低代码etl_低代码_06

2.安装下载

是不是想试试?,安装非常简单,只是国外资源下载较慢,我这里给大家已经准备好了下载的资源,大家可以收藏使用。

低代码es 低代码etl_大数据挖掘_07

链接:https://pan.baidu.com/s/1Jh8fgZV7hUCpHV0LqGNn_A 
提取码:2lpd

内含多种案例的构建教程.

低代码es 低代码etl_ETL_08

3.安装步骤

当前版本:3.22.2 | 发行日期:2021年5月4日| ,据官方消息,4.0已经在开发中,目前的产品级版本必须安装在linux上,如果想尝试windows上,可以到官方下载测试版。

  1. 下载后准备环境。
  2. 下载并安装OpenJDK 8或Java 8 JDK。(您必须具有Java 8 JDK,而不是Java 8 JRE。)
  3. 打开终端,并将文件描述符限制设置为至少32768。
  4. 通过运行以下命令提取压缩包。
    tar xvzf streamsets-datacollector-common-3.22.2.tgz
  5. 成功提取压缩包后,将文件夹更改为安装的根目录。
    cd streamsets-datacollector-3.22.2
  6. 要启动Data Collector,请使用以下命令。
    bin/streamsets dc
  7. 在浏览器中,输入终端窗口中显示的URL。(例如,http://10.0.0.100:18360)
  8. 如果您尚未登录帐户,则需要登录。
  9. 系统将要求您将数据收集器链接到您的帐户。
  10. 链接后,将安装StreamSets数据收集器。

4 愉快的玩耍

通过建立管道,你可以愉快的玩耍各种数据源和目标了.

亚马逊S3
 亚马逊SQS消费者
 Azure Data Lake Storage Gen1(不建议使用)
 Azure Data Lake Storage Gen2
 Azure IoT /事件中心使用者
 CoAP服务器
 Cron Scheduler
 目录
 弹性搜索
 文件尾
 Google BigQuery
 谷歌云存储
 Google Pub / Sub订阅者
 Groovy脚本
 gRPC客户端
 Hadoop FS独立版
 HTTP客户端
 HTTP服务器
 JavaScript脚本编制
 JDBC多表使用者
 JDBC查询使用者
 JMS消费者
 Jython脚本
 Kafka多主题消费者
 运动消费者
 MapR DB CDC
 MapR DB JSON
 MapR FS独立版
 MapR Multitopic Streams消费者
 MapR流消费者
 MongoDB的
 MongoDB Oplog
 MQTT订户
 MySQL二进制日志
 OPC UA客户端
 Oracle批量加载
 Oracle CDC客户端
 PostgreSQL CDC客户端
 脉冲星消费者
 RabbitMQ消费者
 Redis消费者
 REST服务
 销售队伍
 SAP HANA查询使用者
 SFTP / FTP / FTPS客户端
 SQL Server 2019 BDC多表使用者
 SQL Server CDC客户端
 SQL Server更改跟踪
 开始工作
 系统指标
 TCP服务器
 UDP多线程源
 UDP来源
 WebSocket客户端
 WebSocket服务器
 Windows事件日志
 Amazon S3
 Azure Data Lake Storage Gen2
 Azure Event Hub Producer
 Azure IoT Hub Producer
 Azure Synapse SQL
 Cassandra
 CoAP Client
 Couchbase
 Databricks Delta Lake
 Einstein Analytics
 Elasticsearch
 Flume (deprecated)
 Google BigQuery
 Google Bigtable
 Google Cloud Storage
 Google Pub/Sub Publisher
 Hadoop FS
 HBase
 Hive Metastore
 HTTP Client
 InfluxDB
 JDBC Producer
 JMS Producer
 Kafka Producer
 Kinesis Firehose
 Kinesis Producer
 Kudu
 Local FS
 MapR DB
 MapR DB JSON
 MapR FS
 MapR Streams Producer
 MongoDB
 MQTT Publisher
 Named Pipe
 Pulsar Producer
 RabbitMQ Producer
 Redis
 Salesforce
 Send Response to Origin
 SFTP/FTP/FTPS Client
 Snowflake
 Solr
 Splunk
 SQL Server 2019 BDC Bulk Loader
 Syslog
 To Error
 Trash
 WebSocket Client

5.小结

如果有使用上的问题,可以翻看我之前的教程系列.也可以随时问我哦!