栗子哥的博客_云数据库DaaS

从传统大数据架构到Lambda架构到Kappa架构

为什么要总结这个? 工业互联网中，有些场景需要对数据实时分析和预测，另外对于工业的数据湖或数据中台也需要对数据整合。其中再连接E-MapReduce、MaxCompute、DataHub之前需要先了解大数据架构，比如DataHub是基于Kappa架构，而E-MapReduce基于Hadoop生态则基于Lambda或traditional。先整理一下traditional、Lambda架构和

大数据

云计算

Lambda

Kappa

Mapreduce

原创 2021-07-08 00:32:57 5006 阅读

[Aliyun] 实时数仓Hologres Demo01实时计算实时写入数据至Hologres

部分内容直接摘抄阿里官网作为背景和概述：背景在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。整个业务链路中，要求数据库提供高性能的计算服务，存储海量数据，同时对接多种BI分析工具。单一的数据库很难实现以上所有功能，您必须借助其他数据库的相关能力完成业务流程。在导入导出数据时会产生冗余存储，

ali

aliyun

hologres

数据仓库

实时分析

置顶原创精选 2020-10-05 00:46:06 3360 阅读

【AWS征文】[数据仓库]Redshift 动手实验---分析美联航airline数据

实验包括：创建一个AmazonRedshift集群通过SQL客户端连接AmazonRedshift加载S3的数据到AmazonRedshift查询AmazonRedshift中的数据监控AmazonRedshift的性能Task1：创建一个AmazonRedshift集群Nodes为2个下拉到Databaseconfiguration中：Databasename：labMasterusername

aws

数据仓库

数据分析

Redshift

原创 2020-09-11 14:30:17 10000+阅读

【AWS征文】[大数据][Hadoop] 使用EMR做大数据分析

实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过HiveQL分析数据，并将分析结果保存到S3上4.下载已经分析结果数据。Task1：创建一个S3桶创建一个存储桶比如hadoop202006…Task2：创建EMR集群这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。ApacheHadoop：在分布式服务器集群上存储海量数据并运行分布式分

AWS

大数据

EMR

hadoop

原创 2020-09-11 14:26:00 2456 阅读

[AWS][数据库] RDS子网组与VPC

1.定义VPC中两个AZ中4个子网，这里不再赘述。AZ1：subnet001和subnet002AZ2：subnet003和subnet004具体参考下图：2.创建RDS子网组并绑定到刚刚创建的VPC。2.1创建子网组：2.2添加并绑定VPC和子网（这里我添加AZ1的subnet001和AZ2的subnet003）后面会有解释。添加第二个可用区的子网创建成功后返回子网组页面：可以看到刚刚创建好的r

aws

rds

子网组

subnet group

安全

原创 2020-06-19 00:34:23 1992 阅读

[AWS][数据库]Aurora 动手实验&对比RDS Mysql性能

实验包括：创建一个Aurora实例使用MySQLWorkbench连接Aurora和RDSMySQL通过dumpfile加载数据到Aurora和RDSMySQL使用查询语句验证Aurora和RDSMySQL性能Task1：创建Aurora数据库：创建一个Aurora数据库，跟创建RDS一样，登录AWS管理控制台，搜索Aurora，创建数据库。数据库类型选择，AurorawithMySQLcompa

AWS

Aurora

配置

Mysql

数据库

原创 2020-06-16 22:38:12 4924 阅读

[AWS][Nosql] Elasticache for Redis 动手实验101

1. 创建一个Amazon ElasticCache 集群 2. 连接这个集群 3. 运行命令 4. 删除集群

AWS

Redis

Elasticache

数据库

nosql

原创 2020-06-16 00:15:18 856 阅读 1点赞

[AWS][Nosql]DynamoDB动手实验101

1. 创建一个DynamoDB 的Table（表） 2. 添加数据到Table中 3. 查询Table中的数据 4. 删除数据库 5. 补充，JSON和 Python 的query

AWS

DynamoDB

配置

原创 2020-06-15 23:57:25 760 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

栗子哥的<云计算架构师>