一、技术选型介绍 在设计篇中，我们给出了RTDP(Real-time Data Platform)的一个整体架构设计（图1）。在技术篇里，我们则会推荐整体技术组件选型；对每个技术组件做出简单介绍，尤其对我们抽象并实现的四个技术平台（统一数据采集平台、统一流式处理平台、统一计算服务平台、统一数据可视化平台）着重介绍设计思路；对Pipeline端到
转载
2023-08-22 12:26:38
354阅读
数据处理现状：当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。1实时数仓建设：实时数仓1.0传统意义上我们通常将数据处理分为离线数据处理和实时数据处理。对于实时处理场景，我们一般又可以分为两类，一类诸
1 需求分析 1.1 业务需求 1.2 用户需求 1.2.1 使用数据平台的用户的需求 1.2.2 需要的数据 1.2.3 分
原创
2022-11-03 14:06:53
157阅读
企业信息工厂（Corporate Information Factory，简称EIF），是一种建立数据仓库的架构，企业信息工厂的创始人是数据仓库之父Inmon。 企业信息工厂主要包括集成转换层（I&T）,操作数据仓库（ODS），企业级数据仓库（EDW），数据集市（DM），探索仓库（EW）等部件。这些部件有机的组合在一起，为企业提通信息服务。 集成转换层的目的是将来自操作型源系统的数据集成
1. 数据仓库概述1). 概念Data warehouse is a subject oriented, integrated, non-volatile and time variant collection of data in support of management’s
问题导读：1、常用的算法模型有哪些？ 2、如何对数据进行监控管理？ 3、大数据平台的数据服务是怎样的？ 1.5 数据分析建模 伴随着大数据时代的悄然来临,数据的价值得到人们的广泛认同,对数据的重视提到了前所未有的高度。数据已经作为企业、事业单位的重要资产被广泛应用于盈利分析与预测、客户关系管理、合规性监管、运营风险管理等业务当中。如何建立大数据分析模型，以提供
转载
2022-04-19 17:20:00
189阅读
一、ClickHouse基础介绍1.1 介绍 Click Stream,Data Warehouse 点击流数据仓库 在采集数据过程中，一次页面click,会产生一个event。 ----》 基于页面点击事件流，面向数据仓库进行OLAP分析 Clickhouse 是一个开源的，完全列式存储的，关系型数据库管理系统。面向数据仓库，主要用于联机分析处理（OLAP,Online Analytical P
目录什么是 ClickHouse软件介绍简介市场环境目前国内社区火热，各个大厂纷纷跟进大规模使用：特点优点1、真正的面向列的DBMS2、数据压缩3、磁盘存储的数据4、多核并行处理5、在多个服务器上分布式处理6、SQL 支持7、向量化引擎8、实时数据更新9、支持近似计算10、数据复制和对数据完整性的支持缺点环境搭建下载软件上传安装配置文件启动服务可视化工具 DBeaver 连接 什么是 Click
文章目录第1章 ClickHouse 入门1.1 ClickHouse 的特点1.1.1 列式存储1.1.2 DBMS 的功能1.1.3 多样化引擎1.1.4 高吞吐写入能力1.1.5 数据分区与线程级并行1.1.6 性能对比第2章 ClickHouse 的安装第3章 数据类型第4章 表引擎4.1 表引擎的使用4.2 TinyLog4.3 Memory4.4 MergeTree4.4.1 par
一、事实表特点：1. 由一组表示维度的键和一组数字形式的度量值构成。2. 维度外键通常是一些数字或字符代码，因为通常事实表会包含极大的数据量，如果直接使用维度描述的话，会对存储性能照成影响。3. 每个度量值都是单独的一列，创建报表时（例如BIEE中数据透视表），度量值也可以作为维度来使用。 教工人数单位ID（维度1）学科码（维度2）年度（维度3）在编教工数（度量1）在编教学科研人数（度量
转载
2023-07-17 10:35:10
48阅读
关键字：数据仓库，data warehouse，microsoft，SSAS数据仓库总览总的来说，数据仓库就是企业和组织用来将数据集中化之后进行报表的制作和分析的解决方案。实施一个数据仓库的解决方案能让企业和组织获得很多好处：关键业务信息的准确性和全面性报告集中化的信息使能做出更好的分析和决策作为商业智能方案的基础以下的文章为您介绍数据仓库解决方案的关键组件以及当您自己将要着手一个数据仓库时候需要
将postgresql中的数据实时同步到kafka中 https://www.cnblogs.com/cq-yangzhou/p/11549913.html 黄海的思路： （1）看看其它人的概念：https://blog.csdn.net/dora_310/article/details/80511
原创
2021-08-11 11:41:04
1031阅读
面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。Apache Flink 同时支持流式及批量分析应用，实现批流一体。Flink 在实时数仓和实时 ETL 中有天然的优势：状态管理，实时数仓里面会进行很多的聚合计算，这些都需要对于状态进行访问和管理，Flink 支持强大的状态管理；丰富的 API，Flink 提供极为丰富的多
转载
2023-07-21 14:02:10
118阅读
小时级实时数据仓库构建的开发流程
1、找到数据流（done）2、将数据源进行有序化排序处理，模拟最真实的微博数据流的真实数据的生产过程。3、接收微博数据流数据4、转发到kafka集群5、kafka集群的搭建与运维（done）6、消费kafka形成小时级的微博数据文件7、将小时级文件定期、自动化load到小时级微博数据分区表小时级实时数据仓库构建的详细开发过程
1、找到数据流（done）
分享嘉宾：王日宇 京东 大数据架构师编辑整理：刘明出品平台：DataFunTalk导读：本文主要介绍京东实时数据仓库技术的过去和未来，使用Delta Lake完成离线数据的增量更新，建设批流一体开发分析体系简化传统数据仓库架构，以及京东的业务场景在数据湖上的落地经验和技术挑战。01传统数据仓库面临的挑战1. 传统数据仓库的架构首先介绍一下我们传统数据仓库的架构，目前主流的离线数据仓库是基于分布式存
原创
2021-03-26 16:19:45
369阅读
京东牛逼！
转载
2021-06-24 10:37:42
190阅读
本文主要介绍京东实时数据仓库技术的过去和未来，使用delta lake完成离线数据的增量更新，建设批流一体开发分析体系简化传统数据仓库架构，以及京东的业务场景在数据湖上的落地经验和技术挑战。
转载
2021-07-27 10:30:31
190阅读
本文是来自2019年Apache Flink Meetup深圳站的资料，作者是OPPO的大数据平台负责人，本文主要讲述了OPPO基于Flink如何构建实时数据仓库。本文从...
原创
2021-06-10 20:30:02
472阅读
本文是来自2019年Apache Flink Meetup深圳站的资料，作者是OPPO的大数据平台负责人，本文主要讲述了OPPO基于Flink如何构建实时数据仓库。本文从...
原创
2021-06-10 19:52:42
527阅读
实时数据仓库解决方案
## 引言
在当今数据驱动的时代，实时数据分析已经成为了企业决策的重要组成部分。实时数据仓库是一种解决方案，可以帮助企业实时地从多个数据源中获取数据，并将其存储在一个中心化的数据仓库中。本文将介绍实时数据仓库的概念、架构以及简单示例代码。
## 实时数据仓库的概念
实时数据仓库是一种用于存储和分析实时数据的解决方案。它可以从多个数据源（如数据库、日志文件等）中实时地获
原创
2023-09-03 12:11:00
144阅读
