目录 一、Flink简介1.1初识Flink1.2 Flink的重要特点1.2.1 事件驱动型（Event-driven）1.2.2 流与批的世界观1.2.3 分层 api二、快速上手2.1 搭建maven工程 FlinkTutorial2.2 批处理 wordcount2.3 流处理 wordcount一、Flink简介1.1初识Flink Fl
HDFS第一章HDFS概述1.1 HDFS产生背景随着数据量越来越大,在一个操作系统(电脑)中存不下所有的数据,那么就分配到更多的操作系统(电脑)管理的磁盘中,但是这样不方便管理和维护.此时迫切的需要一种系统来管理多台机器的文件,这就是分布式文件管理系统.HDFS只是分布式文件管理系统中的一种1.2 HDFS定义HDFS(Hadoop Distributed File System),它是一个文件
转载
2024-03-15 10:46:52
51阅读
ODS （操作数据存储） 编辑 讨论操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，也被称为贴源层。ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。中文名操作数据存储外文名Operational Data Store用 &nb
转载
2024-01-18 05:56:37
36阅读
场景：由于公司目前没有特定的产品去实现关于数据清洗，目前只能通过对应的存储过程方式来做处理。整个ETL实现流程图如下：业务提供清洗规则：具体实现方案：按照业务规则，需要对数据缺失值做清洗，对数据范围值域做清洗，非数值清洗，非日期值做清洗，包括空格清洗做相应处理。对需要做数据清洗的表字段和特定业务校验规则，做分类标记。a）生成配置表。表结构如下： b）创建表 DATA_DEF_LONG_F 用来承载
转载
2024-06-05 09:01:55
85阅读
背景随着58业务体系的不断建设与发展，数据分析与应用需求越来越丰富，给数据仓库的建设工作带来了很大的挑战。全站行为数据仓库建设过程中，我们总结的问题包括如下几点：(1) 数据体系架构已经无法支持业务的快速迭代，数据集成的开发、维护成本高；(2) 数据业务知识散乱，数据分析与应用成本高；(3) 数据质量定义模糊，缺乏有效统一的数据质量监控体系；(4) 缺失数据建设规范，数据开发、表结构定义不统一，数
将ODS层的数据通过清洗转换处理成DWD层的数据,保存成parquet格式主要工作:数据规范处理,将一些字段处理成同一的规范(时间,日期,空字符统一...)将设备id,和用户账号同时为空的记录过滤将分析用的一个关键字段缺失的记录过滤过滤时间不符合的记录将数据扁平化session分割(对App的用户两次操作的时间) 1，对于web端日志，按天然session分割，不需处理2，对于app日志，由于使用
转载
2024-06-08 11:05:29
47阅读
sqoop从musql导入到hive中数据缺失sqoop是大数据架构中常用的数据导入导出组件之一，只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中。 但在实际使用过程中，常常会碰到一些问题，导致从数据库导入到数据仓库发生数据丢失的问题，以下将发生数据丢失的情况分为三种类型：一、工具使用者使用不善导致的sqoop数据导入过程为：将mysql数据导入到hdfs文件路径，然后再从该hdfs文
转载
2024-04-10 12:03:42
54阅读
ODS作为DW和业务系统的中间数据层，保留了两者的部分特性，在基本数据上，继承了业务系统的数据形式和组织结构，但出于查询和分析的需求，也可以进行部分粗粒度的汇总，提供部分维度。 ODS与DW对比特点：
ODS作为DW的数据源，可以根据设计需要，保留近两个月（自然月，或者长至一年）的原始数据，定期删除超出期限的数据。ODS也可以根据DW的特征进行SBA（业务特征区）层和LAM（轻度
转载
2024-02-05 20:38:55
25阅读
1、手写sql问题：连续活跃。。。-- 第一种解决方案，使用lag(向前)或者lead(向后)
select
*
from
(
select
user_id,
date_id,
lead(date_id) over(partition by user_id order by date_id) as last_date_id
from
(
sel
转载
2024-08-16 10:00:41
89阅读
# ods层 Hive存储格式
## 引言
在大数据处理过程中，数据的存储是一个非常重要的环节，良好的存储格式能够提高数据的读写效率，并且减少存储空间的占用。Hive作为在Hadoop生态系统中广泛使用的数据仓库工具，提供了丰富的存储格式选项，其中ods层是其中一个很重要的存储层级。
本文将介绍ods层的概念以及在Hive中使用不同存储格式的方法，并通过实例加以说明。
## ods层概述
原创
2024-01-17 08:36:12
77阅读
众所周知，原始的数据仓库存在着“存不了，装不下，算不动”的三大严重问题，为了解决越来越多的数据量和越来越繁杂的数据关系，大数据应运而生。在大数据云时代来临之际，掌握了完美的数据处理工具，譬如hadoop，oracle，ogg这些必将会给你带来不错的收益，而今天我们着重讲一下阿里的两大产品dataX和ODPS。*********************************************
转载
2024-09-04 18:36:21
61阅读
截止到现在数据架构中关于Ods层的定义、设计应用已经呈现多样化，而
原创
2022-12-27 10:58:32
763阅读
文章目录11.0 数仓搭建ODS层11.1 ODS层（用户行为数据11.1.1 创建日志表ods_log11.1.2 Shell中单引号和双引号区别11.1.3 ODS层日志表加载数据脚本11.2 ODS层（业务数据）11.2.1 活动信息表11.2.2 活动规则表11.2.3 一级品类表11.2.4 二级品类表11.2.5 三级品类表11.2.6 编码字典表11.2.7 省份表11.2.8 地
转载
2023-12-13 10:49:56
94阅读
## 数据仓库的EDW层与ODS层
在现代数据管理领域，数据仓库（Data Warehouse）是企业进行数据分析与决策的重要工具。数据仓库通常由多个层次构成，其中EDW（企业数据仓库，Enterprise Data Warehouse）层和ODS（操作数据存储，Operational Data Store）层是两个核心层次。本文将探讨这两者之间的区别及其在数据处理过程中的作用，并附上示例代码和
# 数据贴源层 (ODS) 区别
## 引言
在数据仓库中，数据贴源层 (Operational Data Store, ODS) 是数据处理的重要一环。ODS 是数据仓库中的第一层，它负责处理和存储来自各个数据源的原始数据。
本文将详细介绍数据贴源层 (ODS) 的概念和作用，并通过代码示例来说明 ODS 和其他数据仓库层的区别。
## 什么是数据贴源层 (ODS)？
数据贴源层 (O
原创
2024-01-09 20:45:08
1358阅读
1. 引言本篇主要讲述操作数据存储（ODS）系统产生的背景、定义、特点，以及它与数据仓库的区别。2. ODS产生的背景人们对数据的处理行为可以划分为操作型数据处理和分析型数据处理，操作型数据处理一般放在传统的数据库(Database,DB)中进行，分析型数据处理则需要在数据仓库(Data Warehouse,DW)中进行。但是并不是所有的数据处理都可以这样划分，换句话说，人们对数据的处理需求并不只
转载
2024-06-04 13:12:59
149阅读
优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。
1 设计要点
（1）ODS层的表结构设计依托于从业务系统同步过来的数据结构
（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip
（3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。
2 相关表
2.1 整车日
原创
精选
2024-03-15 14:32:24
215阅读
# Hive ODS层 数据格式
在大数据领域中，Hive是一个用于处理结构化数据的开源数据仓库解决方案。在Hive中，ODS（操作数据存储）层是一个常见的数据处理层，用于存储原始的操作数据。在本文中，我们将介绍Hive ODS层的数据格式，并提供带有代码示例的科普。
## ODS层的作用
ODS层是数据处理过程中的第一层，主要用于存储原始的操作数据。它通常包含多个数据表，每个表代表一种业务
原创
2023-12-28 03:59:21
204阅读
# 实现 Hive 文件 ODS 层存储格式的步骤指南
本文将带你学习如何在 Hive 中实现 ODS（Operational Data Store）层的存储格式。我们将详细描述整个流程，并提供相应的代码示例。ODS 层通常用于整合来自不同来源的数据，以便后续分析和报告。
## 1. 整体流程概览
实现 Hive 文件 ODS 层存储格式的整体流程如下：
| 步骤 | 描述
离线数仓-6-数据仓库开发ODS层设计要点离线数仓-6-数据仓库开发ODS层1.数据仓库开发ODS层设计要点2.ODS层用户行为日志表1.hive中复杂结构体复习1.array2.map3.struct 复杂结构4.嵌套格式2.hive中针对复杂结构字符串的练习1.针对ods层为json格式数据的练习2.用户行为日志表的设计用户行为日志表结构设计如下：3.业务表的设计-全量&增量 离线数
转载
2023-09-06 12:53:37
98阅读
