LarkMidTable

gitHub地址: https://github.com/wxgzgl/LarkMidTable 方便推广开源产品,希望觉得不错的可以Star项目,可以加入我们一起研发!!!

中文 | English

Lark中文名称 云雀,云代表大数据,雀代表平凡和自由。

LarkMidTable 是一站式开源的数据中台,实现元数据管理,数据仓库开发,数据质量管理,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。

产品愿景

1.满足许多的小企业,提供一站式的解决方案。

2.做出世界级别,能够媲美BAT大厂的产品。

3.创造价值,产生价值,让世界变得更加美好。

技术选型

框架名称

框架用途

主要功能

Dolphin

任务调度

Task以DAG形式关联,实时监控任务的状态,支持Shell、MR、Spark、SQL、依赖等10多种任务类型,支持每日十万数据量级任务稳定运行

Flink

离线和实时计算框架

Flink实现流批一体化、机器学习(FlinkML)、图分析(Gelly)、复杂事件处理(CEP)、关系数据处理(Table)

Hive

数据仓库

将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句语句转变成MapReduce任务来执行。

Kylin

分析数据库

Kylin 支持 SQL,Kylin 的 SQL on Hbase

Kafka

消息中间件

应用解耦、异步处理、流量削峰、日志处理、消息通信

Kubernetes

容器部署

重新启动失败的容器、弹性伸缩、服务的自动发现和负载均衡、滚动升级和一键回滚

Zookeeper

分布式协调服务

统一命名服务、配置管理、集群管理、队列管理

产品架构图

flink风控 flink管理平台_大数据

目前支持的数据库

flink风控 flink管理平台_数据库_02

数据库类型

读取类型

写入类型

批处理同步

Mysql

支持

支持

PostgreSql

支持

支持

Mongodb

支持

支持

SqlServer

ClickHouse

Hive

支持

Hbase

支持

支持

Hdfs

支持

支持

ElasticSearch

Kudu

Redis

流处理同步

Kafka

MySQL Binlog

MongoDB Oplog

PostgreSQL WAL

快速开始

请点击 快速开始

前端代码 前端代码

资源库 研发资源库

开发规范 唯品会开发规范

特别鸣谢

本项目在datax-web代码的基础上进行二次重构开发,在此特别感谢datax-web团队。