今天我们分享的文章来自云栖大会嘉宾:阿里云专家 封神的分享
分享主题:HBase多模的机遇与挑战
内容概要:业务挑战带来的架构演进;
ApsaraDB For HBase多模式数据库;
ApsaraDB For HBase核心场景;
以及技术人员成长发展之路
什么是Apache HBase
Hadoop Database,是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。
-
松散表结构(Schema free)
-
原生海量数据分布式存储
-
随机查询、范围查询
-
高吞吐,低延迟
-
在线分布式数据库
-
多版本,增量导入,多维删除
ApsaraDB HBase Platform
-
平台架构
-
平台优势
Item |
ApsaraDB ForHBase (Aliyun Product) |
ApacheHBase(Software) |
|
Basic |
High availability |
99.9%~ 99.99% |
N/A |
Data reliability |
99.999999999% |
N/A |
|
Online Ability |
Multi-master clustering |
Multi-master clustering,Multi-AZ/Regon |
NO |
GC |
FGCNO,YGC5ms |
GC 20s~100s,YGC100ms+ |
|
Reduce Cost |
Storage Cost |
Cut by 50%+on share cloud disk,Total3 Copy |
Maybe on Cloud Disk,Total9 Copy |
SupportCold Storage |
SupportOSS,Cut by 70% atless read |
NO |
|
Multi-model DB |
Multi-model DB |
KV,Tabular,SQL,Graph,Time Series,Geospatial Full Text index, Search |
KV,Tabular |
Enterprise Characteristics |
Disaster recovery |
Backup and Restore |
NO,maybe3.0 |
Security |
user/password,ACL |
Kerberos,ACL |
|
Analytics |
SparkonHBase ,Moreoptimization |
SparkonHBase |
|
Version upgrade |
Automatic upgrade |
N/A |
|
Self-driven |
Database control system |
15min Createa DB/Monitor Online add storage and node/ElasticPowerinfuture |
N/A |
Diagnostic System |
Big request ,Big Table merge,HotRegion…… |
NO |
-
使用场景
数据类型 |
存储对象 |
代表场景 |
组件 |
优势 |
KV/表格存储 |
稀疏表 |
简单kv信息 风控 画像表等稀疏表 |
HBase API |
动态列 |
SQL |
带类型的 |
替换单机关系数据库 |
HBase-Phoenix |
SQL语法 具备Hbase 所有的优势 |
文档数据 |
json/xml/html |
新闻 |
HBaseAPI |
存储空间大 |
对象数据 |
图片/视频等 |
小对象存储 |
HBase |
性能与存储空间 兼备 |
时序数据 |
传感器数据 |
监控数据 |
HBase HBase-OpenTSDB |
写性能高、存储量大 |
时空数据 |
轨迹 |
轨迹、时空数据 |
HBase HBase-GeoMesa |
写性能高、存储量大 |
图关系数据 |
关系 |
欺诈场景 |
Hbase-HGraphDB |
分布式图 |
OLAP |
cube |
报表 |
Kylin或自己构建 |
计算前置 实时查询 |
人才的成长
-
成长历程
-
2-3年夯实基础
-
4-6年成为专家
-
7-10年无中生有
-
引领-带领
-
-
成长建议
-
关注社区,多写文章
-
请教高手
-
项目中成长
-
保持敬畏
-
坚持
-
附上HBase多模式的机遇与挑战PPT: