文章目录1.Hive介绍1.1 Hive是什么1.2 Hive产生背景1.3 使用Hive的好处1.4 Hive的架构1.5 Hive的数据结构2.Hive的部署2.1 下载并安装2.2 配置Hive到环境变量2.3 修改配置文件3.Hive的操作3.1 数据库操作3.2 表操作3.3 数据的操作3.3.1 导入数据3.3.1.1 LOAD3.3.1.1 Insert3.3.2 导出数据3.3.
转载
2024-02-13 10:54:02
166阅读
书中构建一个数据仓库示例模型的讲解，实实在在的透漏了一个基于big data 的数据仓库原型。 可以看做是一个非典型的应用场景。里面有很多的点，是可以值得拿出来好好深入思考的，举一反三在数据建模这块，就会遇到一个数据模型的存储细节问题。 Hive 的用途在整个数据仓库中，是可以放在RDS,TDS两个阶段的。按照作者的思路，RDS, TDS 分别承载了整个数据仓库数据流的两个不同存储阶段。RDS
转载
2023-07-14 16:11:51
114阅读
1.数据仓库简介1.0演变1.1什么是数据仓库本质：数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。要解决的问题：多重数据复制带来的高成本问题（在没有数据仓库的时代，需要大量的冗余数据来支撑多个决策支持环境。在大组织里，多个决策支持环境独立运作是典型的情况。尽管每个环境服务于不同的用户，但这些环境经常需要大量相同的数据。处理过程收集、清洗、整合来自多个数据源的数据，并为每个决策支持
转载
2023-07-17 20:08:16
99阅读
数据仓库模型1 模型设计思考流程2 Hive 使用时注意的情况 Hive 创建表时文件格式的选择 Hive事务的局限性数据抽取4种CDC变化数据拉取方式时间戳：添加更新时间等字段
触发器：当执行insert，update等sql时触发等
快照：
比如一天保存一份快照，第二天新快照和前一天快照根据主键全外连接。
并根据主键比较的结果增加一个标志字段，I表示新增，U表示更新，D代表删除，N代表
转载
2023-09-01 10:23:42
141阅读
三、建立数据仓库示例模型
Hadoop及其相关服务安装配置好后，下面用一个小而完整的示例说明多维模型及其相关ETL技术在Hadoop上的具体实现。
1. 设计ERD
操作型系统是一个销售订单系统，初始时只有产品、客户、订单三个表，ERD如下
转载
2024-07-19 10:22:37
112阅读
Hadoop是大数据分析的主要工具，也是学习大数据技术的核心知识，大数据课程培养的是德智体美全面发展，具有良好的职业道德和创新精神，且掌握计算机技术、hadoop 、spark、storm开发、hive 数据库、Linux 操作系统等知识，具备分布式存储、分布式计算框架等技术，熟悉大数据处理和分析技术，面向大数据平台建设与服务企业的技术人才。
转载
2023-10-03 11:53:50
80阅读
大家好，我是云祁！前面和大家分享了维度建模的理论基础，包括维度表的设计和深入了事实表，今天就理论结合实践，和大家聊聊完整的一个数仓构建的过程！数据的重要性和战略意义毋庸置疑，目前业界也都在热火朝天地将大数据战略落地和用于实战。在这个过程中，我们首要的问题就是数据平台的搭建，主要包括物理和逻辑两个方面：物理数据平台的搭建包括 硬件、大数据工具和技术的选型、购买、搭建 等；逻辑数据平台的搭建则包含
转载
2022-11-14 19:04:46
234阅读
项目github地址：bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star，留言，一起学习进步根据自己的理解与实际项目经验，说说ODS与EDW的异同。如果有不对的地方，欢迎大家批评指正。维基百科对于ODS的定义为"An operational data store (or “ODS”) is a database designed
转载
2024-01-11 20:30:10
99阅读
数据仓库：面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。数仓的好处：将多个数据源集成到单一数据存储，因此可以使用单一数据查询引擎展示数据。缓解在事务处理数据库上因执行大查询儿产生的资源竞争问题。维护历史数据。通过对多个源系统的数据整合，使得在整个企业的角度存在统一的中心视图。通过提供一致的编码和描述，减少或修正数据问题，提高数据质量。一致性地组织信息。提供所有数据的
转载
2023-07-12 13:30:00
81阅读
原则1、围绕业务流程构建维度模型业务流程是组织执行的活动，它们代表可测量的事件，如下一个订单或做一次结算，业务流程通常会捕获或生成唯一的与某个事件相关的性能指标，这些数据转换 成事实后，每个业务流程都用一个原子事实表表示，除了单个流程事实表外，有时会从多个流程事实表合并成一个事实表，而且合并事实表是对单一流程事实表的一 个很好的补充，并不能代替它们。原则2、确保每个事实表都有一个与之关联的日期维度
转载
2024-01-14 09:49:34
45阅读
1. Hive介绍 Hive起源于Facebook（一个美国的社交服务网络）。Facebook有着大量的数据，而Hadoop是一个开源的MapReduce实现，可以轻松处理大量的数据。 但是MapReduce程序对于Java程序员来说比较容易写，但是对于其他语言使用者来说不太方便。此时Facebo
转载
2023-09-01 10:11:29
81阅读
第1章 维度建模初步1. 操作型系统与数据仓库任何机构的信息以操作型系统的记录和数据仓库两种形式存在操作型系统：存入数据的地方，按一次一条记录的方式存入格式化数据并不断重复；数据仓库：索取数据的地方，从事对新订单计数等需要搜索大量的记录并压缩成几个答案的操作；2. 数据仓库的目标使组织结构的信息变得容易获取：让业务人员能对仓库中的数据进行切割处理的分离与合并操作；一致地展示组织机构的信息：关于数据
转载
2023-08-07 11:07:18
27阅读
一、数据仓库数据仓库是一个面向主题的、集成的、随时间变化，但信息本身相对稳定的数据集合，相比于传统型数据库，它主要用于支持企业或组织的决策分析处理。主要有以下3个特点：数据仓库是面向主题的：数据仓库中的数据是按照一定的主题域进行组织，大概意思就是说存的数据是一类数据数据仓库是随时间变化的：其中存的数据是有时序的，会保存很长一段时间的数据数据仓库相对稳定：数据仓库主要是用来进行数据的查询，很少进行修
转载
2023-07-24 13:41:18
98阅读
数据仓库的发展大致经历了这样的三个过程：1. 简单报表阶段：这个阶段，系统的主要目标是解决一些日常的工作中业务人员需要的报表，以及生成一些简单的能够帮助领导进行决策所
需要的汇总数据。大部分表现形式为数据库和前端报表工具。
3. 数据集市阶段：这个阶段，主要是根据某个业务部门的需要，进行一定的数据的采集，整理，按照业务人员的需要，进行多维报表的展现，
能够提供对特定业务指导的数据，并且
转载
2023-12-12 21:56:34
54阅读
昨天硬着头皮写了篇数据流的说明，本来今天想写规划与设计主线的说明。但是！早上坐地铁的时候看了B站讲的大数据数仓工具数据抽取的部分，想了想应该详细介绍一下ODS层的抽取工具，主流工具有很多，本篇选用DataX 3.0进行讲解，一下简称DataX。什么是DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HD
转载
2023-10-04 07:31:28
178阅读
文章目录Hive简介1、Hive安装2、MySQL安装3、Hive远程服务启动 Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。Hive具有稳定和简单易用的特性，成为了当前企业在构建企业级数据仓库时使用较为普遍的大数据组件之一。 本实验内容主要在Hadoop高可用集群
转载
2023-09-26 15:55:10
121阅读
hadoop期末复习整理第一章 大数据概述1、两大核心技术：HDFS和MapReduce。2、大数据计算模式及其代表产品 批处理计算：MapReduce、Spark 流计算：Storm、Flume 图计算：PowerGraph 查询分析计算：Hive、Cassandra3、云计算、大数据和物联网的联系 云计算为大数据提供技术基础，大数据为云计算提供用户之地； 云计算为物联网提供海量数据存储能力，物
转载
2024-01-12 14:58:10
58阅读
一、Hive简介Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就
转载
2023-09-26 20:10:16
86阅读
大数据仓库实训-任务3淘宝双11数据分析与预测案例简介淘宝双11数据分析与预测课程案例，涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive等系统和软件的安装和使用方法。通过本案例，将有助于学生综合运用大数据课程知识以及各种工具软件，实现数据分析操作。案例目的熟悉Linux系统、MySQL、Hadoop、Hive等系统和软件
0.什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。简单的说就是：数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数
转载
2023-07-12 12:09:04
97阅读
