目录1.操作数栈2.涉及操作数栈的字节码指令执行过程分析 1.操作数栈1.每一个独立的栈帧中除了包含局部变量表以外，还包含一个后进先出的操作数栈。2.操作数栈，在方法执行过程中，根据字节码指令，往栈中写入数据或提取数据，即入栈和出栈操作。3.操作数栈主要用于保存计算过程的中间结果，同时作为计算过程中变量临时的存储空间。4.操作数栈是JVM执行引擎的一个工作区，当一个方法开始执行的时候，一
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章 &nbs
转载
2023-12-28 22:11:31
95阅读
目的:帮助快速查找数据，减少I/O吞吐:减少数据冗余，实现计算结果复用:提高数据使用效率:改善数据统计口径的不一致性，减少数据计算错误的可能性 范式建模范式: i.原子性。每个属性必须唯一，不具有多义性（不能拆分成其他几列) ii.必须存在主键。每个非主属性必须完全依赖于主键，而非主键的一部分。 iii.消除传递依赖。另外非主键列必须直接依赖于主键，不能存在传递依赖模型基本组成::相同特
转载
2023-11-28 20:42:22
98阅读
进入大数据时代，大数据存储的解决方案，往往涉及到数据仓库的选型策略。从传统时期的数据仓库，到大数据环境下的数据仓库，其核心的技术架构是在随着最新技术趋势而变化的。今天的大数据开发学习分享，我们就来讲讲，大数据环境下的数据仓库。 数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、
转载
2023-10-17 08:31:05
170阅读
一、数仓分层误区数仓层内部的划分不是为了分层而分层，分层是为了解决 ETL 任务及工作流的组织、数据的流向、读写权限的控制、不同需求的满足等各类问题。业界较为通行的做法将整个数仓层又划分成了 DWD、DWT、DWS、DIM、DM等很多层。然而我们却始终说不清楚这几层之间清晰的界限是什么，或者说我们能说清楚它们之间的界限，复杂的业务场景却令我们无法真正落地执行。所以数据分层这块一般来说三层是最基础的
转载
2023-10-17 19:21:39
429阅读
数仓 重点在于建模，也就是理清思路，知道要怎么做，还要很具体的知道每个表用来干什么，每个表需要哪些字段。数仓分层 可以使用不同的库来区分。多个数据层用多个数据库来存放不同层的数据。即席查询 使用不同的表名区分主题。统一放在ads层就可以。然后将每个部门需要的数据，推送到相应部门自己的数据库中，数据量不大就推全量，数据量大就推增量。 假设财务部门的即席查询，那就建立一个财务的库，专门用来接收财务的相
转载
2023-11-06 16:21:05
87阅读
第二章 数仓分层与规范定义 文章目录第二章 数仓分层与规范定义数仓分层与规范定义一、数仓分层二、设计规范1 公共规范1.1 数据划分及命名空间约定1.2 公共字段定义规范2 设计规范ods层dim层dwd层dws层 数仓分层与规范定义一、数仓分层现在数仓的技术选型主要有两种： 一种是自建的CDH集群，基于hive来搭建离线数仓，基于flink的搭建实时部分。 一种是基于阿里云的dataworks这
转载
2024-06-04 08:29:36
112阅读
# 数仓技术架构
## 引言
在大数据时代，数据处理和分析的需求越来越迫切。为了满足这些需求，数仓技术架构应运而生，成为了数据处理和分析的基石。本文将介绍数仓技术架构的基本概念和重要组件，并通过代码示例来说明其使用方法。
## 什么是数仓技术架构
数仓技术架构（Data Warehouse Architecture）是一种将数据从各个来源整合到一个中心化的存储库中，并通过ETL（Extract
原创
2024-01-01 07:42:56
59阅读
## Java开发需要的技术栈
在进行Java开发时，我们需要掌握一系列的技术和工具，这些技术和工具构成了我们所谓的技术栈。一个完善的技术栈可以帮助我们更高效地进行开发工作，提高开发效率和质量。下面我们来看一下Java开发需要的技术栈。
### 1. Java语言
首先当然是要熟练掌握Java语言本身，包括面向对象编程、Java集合框架、多线程编程等。下面是一个简单的Java示例代码：
`
原创
2024-05-09 07:16:26
65阅读
技术不同，简单的可以理解为:初级中级的只关注代码，编程。高级的就要考虑系统的架构，整体框架。具体区别如下：一、初级工程师1、首先要学习java的基础知识。 不要被新技术迷惑，所谓万变不离其宗，新技术都是基于java的基础之上，如果基础不扎实，对于这些新技术的理解也是一知半解，学不到根源。2、做一个java项目 在学习完java的基础知识之后，做一个java项目来巩固一下，在项目中会发现很多问题，通
# 数仓技术架构
## 引言
随着互联网的快速发展和大数据时代的到来，数据的规模和复杂性呈现爆炸式增长。为了更好地管理和利用这些数据，数据仓库（Data Warehouse）应运而生。数据仓库是一个用于存储、管理和分析企业中各种数据的集中化系统，它采用了特定的技术架构来支持数据的提取、转换和加载（ETL），以及数据的查询和分析。
本文将介绍数仓的技术架构，并提供一些代码示例来说明这些概念。
原创
2023-11-20 08:28:32
61阅读
小节一：数仓介绍小节二：离线数仓应用应用架构本小结介绍下离线数仓的一个应用架构一个简单的离线数仓架构图如下这里粗粒度的划分了异构数据源、数据传输、数据仓库、应用分析、及整体管理几层。其中源数据主要指的数仓的数据来源，有数据库数据、文件类型数据、还有接口等http传输的数据。数据库数据大多都是业务的数据，例如mysql、oracle等；文件类型大多是日志数据、离线csv等格式化数据；http传输主要
转载
2023-08-08 11:12:56
291阅读
数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今，近几年随着Storm/Spark（Streaming）/Flink等实时处理框架的更新迭代乃至相互取代，各厂都在着力构建自己的实时数仓，特别是近两年，随着Flink声名鹊起，实时数仓更是名声在外并且
转载
2024-06-10 10:19:25
212阅读
数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两种架构。1、离线数仓 离线数仓，其实简单点来说，就是原来的传统数仓，数据以T+1的形式计算好放在那里，给前台的各种分析应用提供算好的数据。到了大数据时代，这种模式被称为“大数据的批处理”。 只不过原本的单
转载
2023-10-12 08:39:51
151阅读
聚焦java知识点java基础知识数据类型操作符控制执行流程访问权限控制对象的特性-多态对象的特性-抽象泛型I/O系统java高阶知识数据结构数组链表并发编程 java基础知识一直纠结了很久，要不要把自己平时零零碎碎的知识点梳理下，经过一翻思考，认为还是有必要整理下，希望对大家有所帮助，同时也是自我提升的一个途径数据类型常用的数据类型分为两大类：基本类型和引用类型基本类型： 字符串： Strin
转载
2024-04-11 13:21:17
38阅读
搭建数仓的技术架构是数据分析和决策的基石。在现代企业中，数据仓库的有效架构能够显著提升数据整合、查询效率和分析能力，使得决策过程更加迅速和准确。本文将详细介绍搭建数仓的完整过程，从环境准备到扩展应用，全方位保障您的数仓项目顺利开展。
## 环境准备
在进行数仓搭建前，我们首先需要明确软硬件需求。确保使用的系统能够承载数仓的高并发读写和查询需求至关重要。
### 软硬件要求
- **硬件要求**
1 说明本文基于《本地数据仓库项目(一)——本地数仓搭建详细流程》业务数据，在本地搭建系统业务数仓。 根据模拟sql脚本生成业务数据，依次执行生成业务数据即可。 sql脚本提供如下链接：https://pan.baidu.com/s/1AhLIuTNIyJ_GBD7M0b2RoA
提取码：1lm8生成的数据如下：2 业务数据导入数仓数仓整体框架如下，在前面的《本地数据仓库项目(一)——本地数仓搭
最近在跟一位粉丝聊天，聊起来了做离线数仓时该用那些技术栈。于是根据我的经验和参考一些资料于就有本篇文章。在这里我会分享三个案例，仅供参考。
原创
2021-01-24 18:48:16
954阅读
电商数仓项目(一)一.数据仓库概念1.业务数据就是各行业在处理事务过程中产生的数据。2.用户行为数据用户在使用产品过程中，与客户端产品交互过程中产生的数据。3.数据仓库为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程，提高产品质量二.数仓分层1.数仓分层ODS层：原始数据层。存放原始数据，直接加载原始日志、数据、数据保持原貌不做处理。
DWD层：明细数据层。对ODS层数据进行清洗（去除空
转载
2023-12-12 23:04:56
133阅读
（一）技术架构选型 在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的
转载
2024-05-15 10:14:57
159阅读
