# 实现“银行 数据仓库 ODS 贴原层”的流程及步骤
在现代银行系统中，数据仓库是一种用于数据分析和决策支持的数据库技术。ODS（操作数据存储）是数据仓库中一个重要的层次，它用于存储来自不同源的数据，使数据可以被整合和分析。本文将介绍如何实现银行数据仓库的ODS层，给刚入行的小白提供一个清晰的流程和步骤。
## 一、整体流程
以下是实现ODS层的步骤概览：
| 步骤 | 描述
应光平兄的呼声，我就勉为其难的来个扫盲文。为什么说是勉为其难？首要原因是我没有数据库分布式的实务经验，其次是在我们银行新一代核心系统建设这个背景下谈分布式数据库真的是意义不大，目前知道的解决方案在我们这类OLTP的账务交易系统中均显得不太成熟，所以实在是觉得现阶段还不值得谈太多。纠结再三，想想借这个分享的机会整理这方面的知识结构也未尝不可。我们谈数据库分布式，其核心内容无非就是数据切分（Shard
转载
2023-10-14 17:26:03
70阅读
文章目录11.0 数仓搭建ODS层11.1 ODS层（用户行为数据11.1.1 创建日志表ods_log11.1.2 Shell中单引号和双引号区别11.1.3 ODS层日志表加载数据脚本11.2 ODS层（业务数据）11.2.1 活动信息表11.2.2 活动规则表11.2.3 一级品类表11.2.4 二级品类表11.2.5 三级品类表11.2.6 编码字典表11.2.7 省份表11.2.8 地
转载
2023-12-13 10:49:56
94阅读
这两天看书，发现了和数据仓库相关的还有一个叫ODS的概念，它是企业级的全局数据库，用于提供集成的，企业级一致的数据，包含如何从各个子系统中向ODS抽取数据以及面向主题的角度存储数据。它和数据仓库的主要区别：数据仓库是面向主题的、集成的、随时间变化的、非易失的、用于进行战略型决策的数据集合。ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息
转载
2023-10-24 14:43:09
136阅读
数仓分层都分哪些层？一般来说，数据仓库我们可以分为如下5层：关于数仓分层，不同的公司分的层数是不一样的，并且数仓的每一层的命名也没有一个统一的标准，比如这一层就叫这个名字，但是整体思想是一样的。ODS层：用于存放原始数据，数据不做任何修改，所以这相当于起到一个备份作用。因为在数仓建设当中，数据是最重要的，宁可多费一些磁盘空间，也要保证数据的完整性。所以即使ODS层下面所有层的表数据都没了，也是没有
转载
2023-07-21 23:44:05
2210阅读
离线数仓-6-数据仓库开发ODS层设计要点离线数仓-6-数据仓库开发ODS层1.数据仓库开发ODS层设计要点2.ODS层用户行为日志表1.hive中复杂结构体复习1.array2.map3.struct 复杂结构4.嵌套格式2.hive中针对复杂结构字符串的练习1.针对ods层为json格式数据的练习2.用户行为日志表的设计用户行为日志表结构设计如下：3.业务表的设计-全量&增量 离线数
转载
2023-09-06 12:53:37
98阅读
1. 引言本篇主要讲述操作数据存储（ODS）系统产生的背景、定义、特点，以及它与数据仓库的区别。2. ODS产生的背景人们对数据的处理行为可以划分为操作型数据处理和分析型数据处理，操作型数据处理一般放在传统的数据库(Database,DB)中进行，分析型数据处理则需要在数据仓库(Data Warehouse,DW)中进行。但是并不是所有的数据处理都可以这样划分，换句话说，人们对数据的处理需求并不只
转载
2024-06-04 13:12:59
149阅读
数据仓库中的数据表，往往是分层管理、分层计算的；所谓分层，具体来说，就是将大量的数据表按照一定规则和定义来进行逻辑划分；ADS层： 应用服务层DWS层：数仓汇总层DWD层：数仓明细层ODS层：操作数据（最原始的数据）层 -- 贴源层DIM层：存储维表ODS层：对应着外部数据源ETL到数仓体系之后的表！DWD层：数仓明细层；一般是对ODS层的表按主题进行加工和划分；本层中表记录的还是明细数据；DWS
转载
2023-08-10 20:00:07
344阅读
一、如何分层结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS【-MID】-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变化的。ODS层的数据可以只保留一定的时间。 MID中间层是采用Inmon集线器架构的方
转载
2023-09-05 10:13:54
169阅读
数仓在建设过程中，对数据的组织管理上，不仅要根据业务进行纵向的主题域划分，还需要横向的数仓分层规范。本文作者围绕企业数仓分层展开分析，希望对你有帮助。从事数仓相关工作的人员都知道数仓模型设计的首要工作之一就是进行模型分层，可见模型分层在模型设计过程中的重要性，确实优秀的分层设计是一个数仓项目能否建设成功的核心要素，让数据易理解和高复用是分层的核心目标。 &n
转载
2023-12-17 19:13:30
112阅读
参考： 数据仓库--通用的数据仓库分层方法数据仓库各层说明：一、数据加载层：ETL（Extract-Transform-Load）二、数据运营层：ODS（Operational Data Store）三、数据仓库层：DW（Data Warehouse）1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle
转载
2024-05-12 20:01:36
58阅读
## 数据仓库的EDW层与ODS层
在现代数据管理领域，数据仓库（Data Warehouse）是企业进行数据分析与决策的重要工具。数据仓库通常由多个层次构成，其中EDW（企业数据仓库，Enterprise Data Warehouse）层和ODS（操作数据存储，Operational Data Store）层是两个核心层次。本文将探讨这两者之间的区别及其在数据处理过程中的作用，并附上示例代码和
# 实现数据仓库贴源层的指南
## 一、什么是数据仓库贴源层？
数据仓库的“贴源层”是指在数据仓库中存储原始数据的阶段，通称为ODS（Operational Data Store）。这个步骤至关重要，因为后续的数据处理与分析都依赖于这部分的原始数据。通过将数据从各个数据源抽取、转换、加载到数据仓库，我们能够更好地进行分析和决策。
## 二、总体流程
以下是实现数据仓库贴源层的基本流程：
原创
2024-10-11 07:27:08
445阅读
ODS层辨析ODS全称是Operational Data Store，即操作数据存储。Inmon VS KimballBill.Inmon的定义：ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。而Kimball的定义：操作型系统的集成，用于当前、历史以及其它细节查询(业务系
转载
2023-11-20 14:46:39
138阅读
# 数据仓库贴源层
数据仓库是一个用于集成、管理和分析企业数据的系统。在数据仓库架构中，贴源层是数据仓库中的第一层，负责从各种数据源中提取数据，并将数据转化为可用于分析的格式。在这篇文章中，我们将介绍数据仓库贴源层的概念、作用以及代码示例。
## 数据仓库贴源层的概念
数据仓库贴源层是数据仓库中的第一层，负责从各种数据源中提取数据。数据源可以是企业内部的数据库、文件、API，也可以是外部数据
原创
2024-05-23 03:44:19
418阅读
数据分层数据运营层：ODS(Operational Data Store)ODS层，最接近源数据层，为了考虑后续数据追溯，这一层不建议做过多的数据清洗工作，最好原封不动的接入原始数据。数据仓库层：DW(Data Warehouse)数据仓库层是我们在做数据仓库时要核心设计的一层，在这里，要从ODS层提取数据建立各种数据模型，DW层又细分为DWD层，DWM层和DWS层。DWD(Data Wareho
转载
2024-02-08 21:52:48
415阅读
ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。 一般在带有ODS的系统体系结构中，ODS都设计为如下几个作用： 1）在业务系统和数据仓库之间形成一个隔离层 一般的数据仓库应
转载
2023-08-05 16:39:39
115阅读
# 从零开始构建ODS数据仓库的指南
## 引言
在数据处理和管理的世界中，ODS（操作数据存储）是一个非常重要的概念。它作为数据仓库的一个层次，主要用于存放来自不同操作系统的数据。在本文中，我将为你详细介绍构建ODS数据仓库的流程，并提供你需要的代码和实现步骤。
## 流程概览
下面是构建ODS数据仓库的基本步骤：
| 步骤 | 描述 |
|------|------|
| 第一步 |
ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。
一般在带有ODS的系统体系结构中，ODS都设
转载
2024-01-15 13:27:59
97阅读
2、数据仓库分层2-1、分层的简单介绍一般大数据数据仓库的分层结构如图所示：其中，ODS层是近源层，一般是同步业务端数据，数据不进行更改（但是可以扩充字段，比如更新时间、来源等）；CDM层是用来进行数据清洗、数据分析以及建模；ADS层存储的是清洗好的数据，对外提供数据服务，狭义上也称为数据集市层。CDM层又分为数据明细层DWD和数据汇总层DWS层：DWD层存储的是各种经过维度退化进行简单汇总的零散
转载
2023-09-26 13:46:55
391阅读
