1.数据仓库简介1.0演变1.1什么是数据仓库本质：数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。要解决的问题：多重数据复制带来的高成本问题（在没有数据仓库的时代，需要大量的冗余数据来支撑多个决策支持环境。在大组织里，多个决策支持环境独立运作是典型的情况。尽管每个环境服务于不同的用户，但这些环境经常需要大量相同的数据。处理过程收集、清洗、整合来自多个数据源的数据，并为每个决策支持
转载
2023-07-17 20:08:16
99阅读
导读：本文从基础能力、数仓建模、数据治理、原理理解、工程能力、业务能力六个方面来聊初级、中高级专家、资深专家、数据架构师的面试标准。基础能力初级有基本的SQL实现能力，在没有提示或有少量提示下能实现常见的SQL代码开发；有一定的业务理解能力，在少量指引下能基本理解需求方的业务需求描述；了解有关SQL的高级用法，比如开窗函数。中高级专家有较高级的SQL实现能力，能实现常见的SQL代码开发；有良好的业
转载
2023-05-17 21:08:08
132阅读
文章目录一、什么是数据仓库模型？二、数据仓库模型的类型2.1、星型模型2.1.1、星型模型的特点2.2、雪花模型2.3、星座模型（事实星座模型）2.3.1、如何创建 星座模型？2.3.3、Galaxy Schema 的优缺点2.3.3.1、优点：2.3.3.2、缺点：2.4、对比2.4.1、雪花 vs 星型2.4.2、星型 vs 星座、雪花2.4.3、星型 vs 雪花 vs 星座二、模型的选择2
转载
2023-09-25 12:19:38
62阅读
文章目录数据湖技术概述什么是数据湖？大数据为什么需要数据湖？数据湖技术之IcebergIceberg概念及特点Iceberg数据存储格式1. Iceberg术语2. 表格式Iceberg特点详述1. Iceberg分区与隐藏分区(Hidden Partition)2. Iceberg表演化(Table Evolution)3. 模式演化(Schema Evolution)4. 分区演化(Part
转载
2023-07-12 18:50:05
42阅读
文|傅一平今天跟着我来学学数据仓库的基础知识，希望你结合案例可以把它吃透。商业智能时代，无论是程序员，数据分析师，架构师也好，这篇一定要懂，这样才能更好的赋能自己的工作。一、数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕
转载
2023-07-14 18:41:25
63阅读
Hadoop是大数据分析的主要工具，也是学习大数据技术的核心知识，大数据课程培养的是德智体美全面发展，具有良好的职业道德和创新精神，且掌握计算机技术、hadoop 、spark、storm开发、hive 数据库、Linux 操作系统等知识，具备分布式存储、分布式计算框架等技术，熟悉大数据处理和分析技术，面向大数据平台建设与服务企业的技术人才。
转载
2023-10-03 11:53:50
80阅读
文章目录前言一、Hive原理和功能介绍二、Hive安装部署三、Hive SQL操作UDF函数Hive 数据仓库模型设计总结 前言Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。一、Hive原理和功能介绍Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用
转载
2023-07-21 14:39:53
241阅读
数据仓库的基本架构是什么 A Data Warehouse is a component where your data is centralized, organized, and structured according to your organization's needs. It is used for data analysis and BI processes. 数据仓库是一个组件
转载
2023-08-30 13:36:10
35阅读
一、数据仓库数据仓库是一个面向主题的、集成的、随时间变化，但信息本身相对稳定的数据集合，相比于传统型数据库，它主要用于支持企业或组织的决策分析处理。主要有以下3个特点：数据仓库是面向主题的：数据仓库中的数据是按照一定的主题域进行组织，大概意思就是说存的数据是一类数据数据仓库是随时间变化的：其中存的数据是有时序的，会保存很长一段时间的数据数据仓库相对稳定：数据仓库主要是用来进行数据的查询，很少进行修
转载
2023-07-24 13:41:18
98阅读
1. Hive介绍 Hive起源于Facebook（一个美国的社交服务网络）。Facebook有着大量的数据，而Hadoop是一个开源的MapReduce实现，可以轻松处理大量的数据。 但是MapReduce程序对于Java程序员来说比较容易写，但是对于其他语言使用者来说不太方便。此时Facebo
转载
2023-09-01 10:11:29
81阅读
数据仓库：面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。数仓的好处：将多个数据源集成到单一数据存储，因此可以使用单一数据查询引擎展示数据。缓解在事务处理数据库上因执行大查询儿产生的资源竞争问题。维护历史数据。通过对多个源系统的数据整合，使得在整个企业的角度存在统一的中心视图。通过提供一致的编码和描述，减少或修正数据问题，提高数据质量。一致性地组织信息。提供所有数据的
转载
2023-07-12 13:30:00
81阅读
Hive——Hadoop的数据仓库框架引言1、Hive简介2、Hive VS 数据库2.1 对比传统关系型数据库2.2 HQL VS SQL3、Hive数据类型4、Hive架构4.1 Hive 组件4.2 执行流程5、数据模型5.1 内部表和外部表5.2 表的分区与分桶6、安装 引言引入Hive框架原因对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一堆MapReduce代码，比较
转载
2023-11-03 11:53:29
63阅读
写在前面：笔者先后在外企，互联网，金融行业工作，从最初的ODS，DM架构到后面ODS，DWD，DWS，ADS架构都有较深的理解和应用，甚至在相当长的时间内，数仓设计一直作为一个常规的面试题目，来考核各层级的数仓开发和架构师。然而在实际的沟通的交流中，发现很多同学虽然对同样的架构分层设计多多少少都能说出来一些，但是反过来再问为什么这样分层，答案就五花八门了。这篇文章主要针对数仓设计来谈谈我的看法，因
转载
2022-11-14 17:33:13
52阅读
数据库开发工程师1.负责公司业务数据库系统的模型设计，表结构设计2.负责数据处理中的语句实现，存储过程逻辑实现3.负责指导开发人员对语句的性能优化和指导数据库管理员（DBA）1.负责公司业务数据库系统的部署实现2.负责数据库系统的高可用性，备份恢复，性能调忧，监控等实现数据库架构师1.统筹公司业务数据库系统各个层面的技术实现2.指导数据库开发工程师和管理员在各个环节的工作，提供更优的方案数据俨然已
转载
2023-07-17 19:47:13
65阅读
Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就能够胜任大数据分
转载
2023-09-01 10:23:48
69阅读
文章目录基于Hadoop的数据仓库Hive的介绍、安装与基本应用一、概述二、Hive系统架构三、Hive工作原理四、Hive HA基本原理五、Impala六、Hive安装七、Hive编程实战附一：管理表(内部表)附二：外部表附三：分区表附四：Hive SQL 查询函数手册 基于Hadoop的数据仓库Hive的介绍、安装与基本应用一、概述数据仓库概念数据仓库(Data Warehouse)是一个面
转载
2023-10-03 11:45:53
117阅读
一、Hive简介 Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 Hive是一个可以提供有效的、合理的且直观的组织和使用数据的模型，即使对于经验丰富的Java开发工程师来说，将这些常见的数据运算对应到底层的MapReduce Java API也是
转载
2023-09-15 22:10:59
614阅读
文章目录1.Hive概述（1）数仓工具Hive的产生背景（2）数仓工具Hive与RDBMS对比（3）数仓工具Hive的优缺点（4）数仓工具Hive的架构原理2.Hive安装与配置（1）安装准备（2）安装MySQL元数据库（3）Hive的安装与配置（4）Hive安装的注意事项（5）参数配置3.数据类型与文件格式（1）基本数据类型及转换（2）集合数据类型（3）Hive文本文件数据编码及读时模式 1.
转载
2024-01-02 21:53:39
79阅读
0.什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。简单的说就是：数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数
转载
2023-07-12 12:09:04
97阅读
文章目录Hive简介1、Hive安装2、MySQL安装3、Hive远程服务启动 Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。Hive具有稳定和简单易用的特性，成为了当前企业在构建企业级数据仓库时使用较为普遍的大数据组件之一。 本实验内容主要在Hadoop高可用集群
转载
2023-09-26 15:55:10
121阅读
