Greenplum能做什么?
- 数仓 / OLAP / 即席查询
- 混合负载 / HTAP
- 流数据
- 集成数据分析
- 数据库内嵌机器学习
- 现代 SQL
核心架构
- 架构图
- Master Host:
- 主节点, 负责协调整个集群
- 没有数据, 只有用户的元数据
- Standby Master: 备份主
- Segment Host:
- 每个Segment都是一个单节点的PostgreSQL数据库。
- 包含用户的实际数据, 会等待master给它分配实际任务, 然后进行相互协调执行。
- 每个Segment对应在另外一个节点上会有一个镜像(mirror), 当这台Segment挂了之后, 它的镜像就会自动提升为primary, 从而实现高可用。
- 可以随着业务的扩充进行线性扩展
- 每台机器都是独立的, 机器之间通过Interconnect进行网络通讯, 因为又被称为MPP无共享架构。
数据分布
- 多种分布策略:
- Hash, 随机, 复制表等
- 最重要的策略和目标是均匀分布: 每个节点 1/n 数据
多级分区
多模存储 / 多态存储
- 通常情况下, 数据价值随着时间越来越低, 所以会有不同的对应处理模式。
- 就比如说一张销售表:
- 最近3个月的数据, 我们可能要做的是对数据的完善及更新。
- 距今3个月到1年的数据, 我们可能做的最多的是做一些查询, 聚集, 报表。
- 1年前+数据, 访问较少。
- 对应存储模式:
- 1年前+数据:
- 采用外部表技术, 数据不放在Greenplum中, 比如hdfs, amazon S3中。
- 无缝查询所有数据:
- Text, CSV, Binary, Avro, Parquet, ORC格式
- 距今3个月到1年的数据:
- 使用列存储, 更适合压缩(不同列可以使用不同压缩方式: gzip, quickz, delta, RLE, zstd), 查询列子集时速度快。
- 最近3个月的数据:
- 使用行存储, 适合OLTP业务, 适合频繁更新或者访问大部分字段的场景。
查询支持
- Apache ORCA: 专为复杂查询而生的优化器
- 可以做到比较好的动态分区裁剪
- 处理比较复杂的子查询, 或CTE(是一个命名的临时结果集,仅在单个SQL语句(例如SELECT,INSERT或DELETE)的执行范围内存在)
- 数据shuffle
- 其他技术:
- 高效压缩算法
- 多阶段聚集
- 复制表
- Unlogged table
- 物化视图
- 一致性hash
- 在线扩容
- 安全性
混合负载 / HTAP
- OLTP 优化技术
- 全局死锁检测 (GDD): 6版本之前用表锁, 优化有使用行锁。
- 锁优化: 有一个锁竞争比较严重, 优化。
- 事务优化
- 复制表
- 多模存储
- 灵活索引
- OLTP 友好的优化器
- 内核升级: PostgreSQL 9.4
- 资源管理
特性 | 资源组(Resource Group) | 资源队列(Resource Queue) |
并发控制 | 事务级别 | 语句级别 |
死锁 | 无 | 极端情况下会出现 |
CPU管理 | 基于比例、基于cgroup | 基于粗粒度的优先级 |
CPU 空闲利用率 | 可以充分利用空闲CPU | 部分利用 |
内存限制 | 精细 | 粗粒度 |
组内内存共享 | T | F |
动态修改资源配置 | T | 部分 |
排队 | 无并发槽位或者内存配额时 | 无并发槽位时 |
管理DDL、Utility语句 | T | F |
Segment级别监控管理 | T | F |
基于规则的资源管理 | T | F |
细粒度多级内存管理
企业案例
- 如果对TP业务不是追求极致, 可以考虑Greenplum。
流数据(准实时)
- Greenplum Kafka Connector
- 该组件的目的是将Kafka Topic中 partition的数据高效导入到Greenplum中。
- 可以看到最终gpss会将数据并行地导入到每个Segment中而不需要通过master, 效率较高。
集成数据分析
- 各种数据类型: 结构化、半结构化、非结构化
数据融合
- 数据全都放到Greenplum中的话代价还是很大的。
- 过去会将全部数据从别的平台拉取到Greenplum, 涉及比较复杂的etl过程
- 4版本后的数据融合功能, 不需要拉取数据到Greenplum, 只要在Greenplum上写SQL就可以查询存储在不同数据中的数据。
PXF 架构
- 可以在Greenplum中定义一个外部表, 此外部表通过PXF协议指定到hadoop, hive, hbase, 数据库s3等。
- 我们只需要在Greenplum上写一个SQL, 底层就会自动去对应的存储系统中拿取数据。
- 如果底层是Hive的话, PXF还可以做到谓词下推。
基于 SQL 的数据库内嵌机器学习
- 数据量越大, 模型精度越大。
- SAS: 需要对数据进行抽样后再训练, 会损失部分精度, 只能用一个节点进行训练。
- 希望对全量数据进行运算, 将算法内嵌到数据库中, 可以使用数据库的并行计算能力。
- apache madlib
- 在每个Segment上集成成成Keras或者tensorFlow, 可以使用每个节点上的GPU资源。