一、 数据库概述及环境搭建1、 为什么要使用数据库 ⚫ 动态网站中的数据都是存储在数据库中的 ⚫ 数据库可以用来持久存储客户端通过表单收集的用户信息 ⚫ 数据库软件本身可以对数据进行高效的管理 http://www.czxy.com/article?id=1 http://www.czxy.com/article?id=22、 什么是数据库 数据库即存储数据的仓库，可以将数据进行有序的分门别类的存
# 使用MongoDB构建数据仓库的流程
本文介绍了使用MongoDB构建数据仓库的步骤和所需的代码。以下是构建MongoDB数据仓库的流程图：
```mermaid
flowchart TD
A[步骤1：创建数据库] --> B[步骤2：创建集合]
B --> C[步骤3：插入数据]
C --> D[步骤4：索引优化]
D --> E[步骤5：数据聚合]
原创
2023-08-21 06:46:30
88阅读
# MongoDB做数仓
## 概述
在数据分析和数据挖掘领域，数据仓库扮演着至关重要的角色。数据仓库是一个用于集成和管理企业数据的系统，它可以帮助企业将散乱的数据整合在一起，并为数据分析和决策提供支持。在数据仓库的建设中，选择合适的数据库是至关重要的，而MongoDB作为一个强大的文档数据库，也可以被用来构建数据仓库。
## MongoDB简介
MongoDB是一个高性能，开源的NoSQ
原创
2024-07-05 05:03:13
74阅读
# MongoDB 可以用来做数仓吗？
MongoDB 是一个文档型 NoSQL 数据库，它以 JSON 响应和存储数据，适合处理大规模和快速变化的数据。近年来，许多人开始探索将 MongoDB 用于数据仓库（Data Warehouse），其原因主要包括高灵活性、易扩展性和良好的性能等。
在本篇文章中，我们将探讨如何使用 MongoDB 作为数据仓库。我们将遵循以下步骤：
| 步骤 | 描
原创
2024-09-18 06:26:59
79阅读
提醒：代码在文档，部分需要进行复制。该项目以国内电商巨头实际业务应用场景为依托，紧跟大数据主流需求，对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解，让你迅速成长，获取最前沿的技术经验。Flume1.9+Kafka2.4.1+Sqoop1.4.7+MySQL5.7 + Hadoop3.1.3+Hive3.1.2+Tez、Spark3.0.0 + Ranger2.0 + Presto + Ky
这两天连mongodb的服务器老是有问题，打开任务管理器一看，内网的带宽打的是相当的高，服务器上只有调mongodb的页面，调mongodb走的是内网，所以应该是mongodb传输的数据量太大的问题，因为当连接数只有30个左右的时候，mongostat里的netout居然仍然有4M、5M左右，这个也太夸张了，于是仔细排查了下项目的代码，终于找到了问题的症结。修改前：documnetFilterRe
转载
2023-06-02 14:54:49
76阅读
表带可作为显示操作装置 红朝儒生2015-6-17 关键字：智能手表 表带 显示简介：把智能手表的表带，也作为显示装置，显示各种动画。 电子表早就有了，现在的类似苹果的这类手表，可以算是电脑手表，或者智能手表。不论汝喜欢不喜欢，智能手表，肯定要流行开来。以后呢，富人戴两个手表，可能成为常态。 智能手表要显示的东西是比较多的。而表盘的面积并不大。...
原创
2021-08-08 09:35:30
83阅读
MongoDB数据库(DataBase)数据库是按照数据结构来组织、存储和管理数据的仓库。我们的程序都是在内存中运行的，一旦程序运行解决或计算机断电，程序运行中的数据都会丢失。所以我们就需要一些程序运行的数据持久化到硬盘之中，以确保数据的安全性。而数据库就是数据持久化的最佳选择。说白了，数据库就是存储数据的仓库。数据库的分类-关系型数据库(RDBMS)--MySQL、Oracle、SQLServe
转载
2023-10-03 19:19:33
162阅读
可以作为GC Root的对象：虚拟机栈中的引用对象 方法区中类静态属性引用的对象 方法区中常量引用对象 本地方法栈中JNI引用对象
原创
2024-05-30 13:57:57
30阅读
# Hive 作为数仓处理更新数据删除
## 概述
在数据仓库中，经常需要处理更新数据和删除数据的操作。Hive 是一个基于 Hadoop 的数据仓库工具，可以用来处理大量的数据。本文将介绍如何使用 Hive 处理更新数据和删除数据的操作。
## 更新数据
在 Hive 中更新数据可以通过两种方式来实现：使用 Hive 的 `INSERT OVERWRITE` 语句或者使用 Hive 的
原创
2023-08-27 10:37:41
406阅读
第1章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名 DIM层命名为dim_表名 DWD层命名为dwd_表名 DWS层命名为dws_表名 DWT层命名为dwt_表名 ADS层命名为ads_表名 临时表命名为tmp_表名1.3.2 脚本命名数据源_to_目标_db/log.sh 用户行为脚本以log为后缀；业务数据脚本以d
表带可作为显示操作装置 红朝儒生2015-6-17 关键字：智能手表 表带 显示简介：把智能手表的表带，也作为显示装置，显示各种动画。 电子表早就有了，现在的类似苹果的这类手表，可以算是电脑手表，或者智能手表。不论汝喜欢不喜欢，智能手表，肯定要流行开来。以后呢，富人戴两个手表，可能成为常态。 智能手表要显示的东西是比较多的。而表盘的面积并不大。...
原创
2022-02-04 16:46:08
18阅读
1.背景介绍HBase的数据实时处理与流处理1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase的核心特点是提供低延迟、高吞吐量的随机读写访问，适用于实时数据处理和流处理场景。在大数据时代，实时数据处理和流处理技术已经成为企业和组织的核
第1章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名 DIM层命名为dim_表名 DWD层命名为dwd_表名 DWS层命名为dws_表名 DWT层命名为dwt_表名 ADS层命名为ads_表名 临时表命名为tmp_表名1.3.2 脚本命名数据源_to_目标_db/log.sh 用户行为脚本以log为后缀；业务数据脚本以d
转载
2024-10-15 11:34:13
17阅读
Namenode 和 DatanodeHDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数
在谈数仓之前，先来看下面几个问题：数仓为什么要分层？用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理
转载
2024-04-29 08:58:48
0阅读
一、数据模型数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话：“烂程序员关心的是代码，好程序员关心的是数据结构和它们之间的关系”。只有数据模型将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。关于数仓的建模有两种基本的模型：1、关系建模（Inmon）关系建模是数据仓库
# 使用 MongoDB 作为 Flink 实时数仓中间层
## 1. 简介
在实时数据处理过程中，Flink 作为一个强大的流式计算引擎，常用于构建实时数仓。为了能够高效地存储和查询数据，我们可以选择使用 MongoDB 作为 Flink 的中间层。
本文将介绍如何将 MongoDB 作为 Flink 实时数仓的中间层，包括流程、步骤和相关代码示例。
## 2. 整体流程
下面是实现
原创
2023-07-27 10:49:02
130阅读
概述分层模型设计ODS层设计DWD层设计DIM层设计DWS层设计ADS层设计 概述 上一篇主要阐述了 OneData 建模体系中的规范定义部分，而本篇主要阐述的是分层模型设计部分。当了解到每一个业务过程与维度的关联，就可以基本明确需要设计事实表与维度表；再通过明确统计指标的深入分析，就可以下沉某些相同计算逻辑。这是数仓的基本架构雏形已明确，而接下来则是设计各个表如何设计。例如：什么样的表放
转载
2024-05-28 11:24:42
93阅读
### spark数仓要用hive吗？
在现代数据工程的世界中，使用 Apache Spark 和 Apache Hive 的选择常常让许多数据工程师感到困惑。随着大数据技术的不断演进，如何在 Spark 和 Hive 之间进行有效的选择，成为了一个值得深入探讨的话题。本文将详细分析该问题，提供更全面的视角，帮助读者更好地理解和应用这两种技术。
#### 背景定位
首先，理解这两种技术的背景是
