对事物的认识总是螺旋式的，先有个大致的认识，再逐渐丰富其血肉。这个过程，会有片面性、也可能否定之前的理解，但只要一直用心用脑，总会不断进步的。当然，多参考优秀的资料，会大大缩短过程中花费的时间。
转载
2021-06-21 17:13:39
205阅读
对事物的认识总是螺旋式的，先有个大致的认识，再逐渐丰富其血肉。这个过程，会有片面性、也可能否定之前的理解，但只要一直用心用脑，总会不断进步的。当然，多参考优秀的资料，会大大缩短过程中花费的时间。
转载
2021-12-14 10:21:00
154阅读
前文从OLTP出发，通过对比引出OLAP，进一步介绍了数仓的基本概念，包括多维数据模型、数据立方体及其典型操作等。本篇再进一步，将介绍OLAP的类型及其代表产品，并分析主流开源OLAP产品的核心技术点...
转载
2021-12-14 10:17:28
59阅读
关于OLAP数仓，这大概是史上最全面的总结！（万字干货）
原创
2021-06-17 17:57:19
245阅读
前文从OLTP出发，通过对比引出OLAP，进一步介绍了数仓的基本概念，包括多维数据模型、数据立方体及其典型操作等。本篇再进一步，将介绍OLAP的类型及其代表产品，并分析主流开源OLAP产品的核心技术点...
转载
2021-06-21 17:10:58
201阅读
大纲 数据仓库的发展，本文摘自：Java大数据与数据仓库 ，作者刘不二 下图为历史发展中的各类数仓架构。 我们再看一下数仓在历史平台的意义： 数仓演进的历程： 什么是数仓，数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile ...
转载
2021-07-18 23:31:00
400阅读
2评论
# MySQL数仓引擎OLAP报错LIKE
在MySQL数据库中，使用数仓引擎OLAP进行数据分析和报表生成时，有时会遇到报错信息中包含"LIKE"关键字的情况。本文将介绍这种报错的原因和解决方法，并通过代码示例加以说明。
## 1. 背景
在OLAP中，"LIKE"关键字通常用于模糊匹配查询，以满足特定条件下的数据分析需求。然而，由于MySQL数仓引擎的一些限制，使用"LIKE"关键字进行
前言 过去近七年在网易杭研一直从事数据库相关的开发工作，主要是MySQL和MongoDB这两种数据库，去年开始涉及图数据库Neo4J。上述几种，都可认为是OLTP类数据处理，由于工作需要，需要调研学习OLAP技术和相关系统，本文开始逐步进行第一轮总结，很多东西还只是片面理解，权当做个笔记。 对事物的 ...
转载
2021-09-27 22:31:00
91阅读
2评论
前言 过去近七年在网易杭研一直从事数据库相关的开发工作，主要是MySQL和MongoDB这两种数据库，去年开始涉及图数据库Neo4J。上述几种，都可认为是OLTP类数据处理，由于工作需要，需要调研学习OLAP技术和相关系统，本文开始逐步进行第一轮总结，很多东西还只是片面理解，权当做个笔记。 对事物的 ...
转载
2021-09-27 22:31:00
67阅读
2评论
关于OLAP数仓，从百万到百亿级数据量实时分析
转载
2022-06-28 11:04:16
154阅读
（1）确定测试目标和指标：确定测试的目标和指标，包括查询响应时间、数据加载时间、并发访问量、数据容量等。 （2）确定测试数据：确定测试数据的来源和规模，包括数据量、数据类型、数据结构等。 （3）设计测试方案和用例：设计测试方案和测试用例，包括不同数据查询、数据分析、数据挖掘场景的测试，以及对不同查询
原创
2023-04-01 12:04:17
215阅读
MariaDB Columnstore引擎使用注意事项一、字段属性限制1、varchar最大80002、不支持bit类型3、不支持Reserved keywords保留关键字user、comment、match、key、update、status作为表名、字段名或用户定义的变量、函数或存储过程的名称。4、不支持zerofill5、不支持enum枚举类型6、comment不能携带''引号create
一、测试基准TPC-DS概述TPC-DS是TPC组织推出的一个基于决策支持系统的测试基准，目前大家比较推崇TPC-DS，因为它的设计比较合理，这里面包含了7张事实表和17张纬度表，能够真实地回答一些商业问题。它采用的不是传统的关系数据库里面的关系模型，而是星型模型、雪花模型。这套测试一共有99个测试案例，并遵循SQL 99和2003的语法标准。这些测试案例分为不同的业务模型，如分析报表时的即时查询
原创
2021-05-14 09:19:28
412阅读
GaussDB(DWS) ROLLUP，CUBE，GROUPING SETS等OLAP函数的原理解析。
原创
2022-04-27 11:48:08
1968阅读
点赞
MariaDB ColumnStore利用分布式列式存储和大规模并行处理（MPP）共享无架构扩展了MariaDB企业服务器，将其转变为独立或分布式数据仓库，用于复杂SQL查询和高级分析，而无需创建任何索引。为了简化安装过程，让用户享受更好的产品体验，MariaDB提供yum源方式部署，用户只需几条命令，即可轻松部署OLAP MPP数据仓库环境。shell> wget https:/
# OLAP实时数仓架构的科普及代码示例
随着数据科学和大数据技术的迅猛发展，在线分析处理（OLAP，Online Analytical Processing）成为了企业实时决策的核心工具。实时数据仓库架构（实时数仓架构）是实现OLAP的基础，能够支持快速、高效的数据查询与分析。本文将介绍OLAP实时数仓架构，并通过代码示例展示其应用。
## OLAP的基本概念
OLAP主要用于复杂查询和大
一 概念1.1 什么是OLAP？OLAP(OnLine Analytical Processing)，即联机
转载
2021-06-18 17:47:43
510阅读
在谈数仓之前，先来看下面几个问题：数仓为什么要分层？用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理
概述分层模型设计ODS层设计DWD层设计DIM层设计DWS层设计ADS层设计 概述 上一篇主要阐述了 OneData 建模体系中的规范定义部分，而本篇主要阐述的是分层模型设计部分。当了解到每一个业务过程与维度的关联，就可以基本明确需要设计事实表与维度表；再通过明确统计指标的深入分析，就可以下沉某些相同计算逻辑。这是数仓的基本架构雏形已明确，而接下来则是设计各个表如何设计。例如：什么样的表放
数据仓库架构分层1. 数据仓库架构数据仓库标准上可以分为四层：ODS（临时存储层）、PDW（数据仓库层）、DM（数据集市层）、APP（应用层）。1）ODS层：为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。一般来说ODS层的数据和源系统的数据是同构的，主要目的是简化后续数据加工处理的工作。从数据粒度上来说ODS层的数据粒度是最细的。ODS层的表通常包括两类，一个用于存储当前需要加
