数据采集传输

  • Flume
  • Kafka
  • Sqoop
  • Logstash
  • DataX

数据存储

  • MySQL
  • HDFS
  • HBase
  • Redis
  • MongoDB

数据计算

  • Hive
  • Tez
  • Spark
  • Flink
  • Storm

数据查询

  • Presto
  • Kylin
  • Impala
  • Druid
  • ClickHouse
  • Doris

数据可视化

  • Echarts
  • Superset
  • QuickBI
  • DataV

任务调度

  • Azkaban
  • Oozie
  • DolphinScheduler
  • Airflow

集群监控

  • Zabbix （离线）
  • Prometheus （实时）

元数据管理

  • Atlas

权限管理

  • Ranger