数据库存储在硬盘中的对数据进行统一组织与管理的仓库。数据库分类关系型数据库 MySQL、Oracle、DB2、SQL Server等，存储的全部是表非关系型数据库 MongoDB、Redis等，键值对数据库MongoDBMongoDB是为快速开发互联网Web应用 而设计的数据库系统。MongoDB的设计目标是极简、灵活、作为Web应用栈的一部分。MongoDB的数据模型是面向文档的，所谓文档是一种
转载
2023-11-12 09:00:07
75阅读
误解一：数据仓库和数据湖二者在架构上只能二选一很多人认为数据仓库和数据湖在架构上只能二选一，其实这种理解是错误的。数据湖和数据仓库并不是对立关系，相反它们的并存可以互补给企业架构带来更多的好处： 数据仓库存储结构化的数据，适用于快速的BI和决策支撑， 而数据湖可以存储任何格式的数据，往往通过挖掘能够发挥出数据的更大作为。 所以在一些场景上二者的并存是可以给企业带来更多效益的。误解二：相对于数据湖，
转载
2023-08-21 12:44:02
128阅读
构建数据仓库采用 MongoDB 的流程
在本文章中，我将详细记录如何基于 MongoDB 构建一个高效的数据仓库，包括环境配置、编译过程、参数调优、定制开发、性能对比以及生态集成等方面。
### 环境配置
为了构建一个数据仓库，我们需首先配置 MongoDB 的环境。以下是系统架构逻辑的思维导图：
```mermaid
mindmap
Root
Environment
讲数据仓库涉及到的基本概念。
转载
2021-07-26 11:19:43
1097阅读
# 数据仓库：使用 MongoDB 还是 MySQL？
在现代数据管理中，选择合适的数据库技术对于数据仓库的构建至关重要。MongoDB 和 MySQL 是两种流行的数据库系统，但它们的设计理念和用途却截然不同。本文将探讨这两种数据库在数据仓库中的适用性，并提供一些代码示例帮助读者理解。
## 什么是数据仓库？
数据仓库（Data Warehouse）是一个集中存储的数据系统，用于进行数据分
# MongoDB 股票数据仓库的实践与应用
## 引言
随着金融科技和大数据时代的到来，数据分析在投资决策中扮演着越来越重要的角色。股票数据仓库在存储和处理庞大的市场数据时显得尤为重要。本文将介绍如何使用MongoDB构建一套股票数据仓库，提供数据的存储、查询，以及可视化需求。我们还将展示类图和甘特图，帮助理解系统的设计和开发进度。
## MongoDB 概述
MongoDB是一款基于文
【Node.js】MongoDB数据库数据库一、基本概念二、MongoDB数据库01. 需要下载02. 启动MongoDB03. 数据库连接04. 创建集合05. 创建文档06. 查询文档07. 删除文档08. 更新文档09. mongoose验证10. 获取错误信息11. 集合关联三、模板引擎01. `art-template`模板引擎02.模板语法 数据库一、基本概念数据库即存储数据的仓库，
转载
2023-11-10 06:52:51
58阅读
一、数据库MongoDB作为2016年数据库流行度排行榜第四位的数据库，其受欢迎程度也是越来越高。数据库：Database，是按照数据结构来组织，存储和管理数据的仓库。它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，这里大致分为两类：关系型数据库和非关系型数据库，总的来说数据
转载
2024-02-23 11:24:05
12阅读
一、OLTP和OLAP的区别OLAPOLTP全称On-line Analytical ProcessingOn-line Transaction Processing应用场景数据仓库数据库核心维度、度量、下钻、上卷、切片、切块、旋转ACID(原子性、一致性、孤立性、持续性)关注点事后的分析，从统计的角度去看待业务发生的节点关注完成这件事情，准确无误的执行二、传统数仓和互联网数仓的区别传统数仓互联网
转载
2023-11-13 15:04:56
101阅读
目录一：DIM层设计要点 二：DIM层大概实操流程 2.1 读取数据 2.2 过滤数据 2.3 写出数据 三：配置表3.1 配置表设计 四：实操流程4.1 接收Kafka数据，过滤空值数据4.2 动态拆分维度表功能4.3 把流中的数据保存到对
转载
2023-09-06 12:28:21
166阅读
一. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，
转载
2023-07-08 18:07:29
440阅读
本文档中所出现的命令，所有在真实环境中使用。sql环境：S4 hana 1809 SP3, HANA2.0 SP 044 , SUSE Linux Enterprise for SAP Applications 12 SP4s2020.2.24 中午我演练了一把生产环境的异机恢复：数据库一、恢复机的HANA数据库作了一次全备。安全二、停下恢复机，
转载
2023-07-12 09:42:35
128阅读
数仓学习1、什么是数仓数仓，全称为数据仓库，英文名称为Data Warehouse（简称DW），本质上就是一个存储了各种数据的数据库。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了ETL、调度、建模在内的完整的理论体系。在物理体现上，它包含数据库、ETL工具两大主要部分。 数仓可以根据底层技术简单区分为传统数据仓库（使用MySQL/oracle/Microsoft SQLser
转载
2023-07-04 09:57:35
328阅读
1．为什么会出现数据仓库和数据集市？ “数据仓库”的概念可以追溯到80 年代中期。从本质上讲，最初数据仓库是想为操作型系统到决策支持环境的数据流提供一种体系结构模型，并尝试解决和这些数据流相关的各种问题。 在缺乏“数据仓库”体系结构的情况下，早期的决策支持环境如图1 所示。企业内部存在许多冗余的、重复建设的决策支持系统（通常是报表系统），这些系统
转载
2023-12-23 21:08:59
94阅读
1、数据库(Database) 数据库是指将数据以一定的数据模型组织、描述和储存在一起的数据集合，具有尽可能小的冗余度、较高的数据独立性和易扩展性，且在一定范围内为多个用户共享2、数据仓库(DataWarehouse) 数据仓库用于实现集成、稳定、反应历史变化、有组织有结构的数据集合，具有以下4个特点： (1)面向主题 将企业各业务系统的数据进行综合归并，针对公司不同业务领域建立对应的主题。 比如
转载
2023-10-15 19:59:12
116阅读
为把Bill Inmon和Kimball 两种不同的思路统一起来，Bill Inmon提出了CIF（Corporation Information Factory）架构，核心是把数据仓库分为不同的层次以满足不同场景的需求；每层根据不同的场景采用不同的方案。传统数据仓库1.0的分层：数据源->数据集成平台->数据交换平台->数据集市（数据应用
转载
2023-08-20 10:20:12
353阅读
TensorBase，基于Rust的现代化开源实时数据仓库。它专注于开源大数据存储和分析的基础设施，让大数据背后的价值可以惠及这个时代中每个个体和企业。团队介绍：我本人的简介在这里。TensorBase已获陆奇博士旗下奇绩创坛（原YC中国）的种子轮投资，陆奇博士就是我们的合伙人！开源，惠人达己。创新，守正出奇。基础设施的未来，必定是开源和创新的。目前TensorBase有很好的社区和成果，Clic
转载
2023-11-04 19:50:49
144阅读
一、什么是数据仓库W.H.Inmon在《 Building the Data Warehouse 》一书中，对数据仓库的定义为：数据仓库是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合。1.1 面向主题 操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。 &nb
转载
2023-08-21 10:01:37
185阅读
仓库，顾名思义是存放东西的地方。数据仓库就是存放数据的仓库。之所以叫数据仓库就是为了与仓库对应起来，使形象更生动。一说到仓库，人们就会想到一排排的货架，一排排的货物。每个货架都是有不同的编号的，编号不同，所代表的意思也不同。当人们想要在仓库里找某样东西时，通过编号就可以快速地找到。同样的，数据仓库也是经过整理，分门别类地存放数据的，可以供人们快速地找到不同的数据。使用起来更加方便，方便后续的数据分
转载
2023-08-28 13:12:03
151阅读
Kimball和Inmon是两种主流的数据仓库方法论，分别由 Ralph Kimbal大神 和 Bill Inmon大神提出，在实际数据仓库建设中，业界往往会相互借鉴使用两种开发模式Inmon和Kimball是数据仓库领域伟大的开拓者，他们均多年从事数据仓库的研究，Inmon还被称为“数据仓库之父”。Inmon的《数据仓库》和Kimball的《数据仓库工具箱》都是此领域的经典之作。后来人把这两人的
转载
2023-06-19 11:23:07
368阅读
