1、数据仓库ETL 2、数据仓库分层 ODS：原始数据层 数据来源可能是通过Flume监控、Sqoop导入....... Flume可以定义拦截器，进行数据ETL。 Sqoop可以通过sql语句，进行数据ETL。 所以很多情况下ods存放的ETL之后的原始数据。 作用：在业务系统和数据仓库之间形成一个隔离层，保存的是原始数据或者ETL之后的
转载
2023-10-10 06:15:04
132阅读
概念数据库业务应用操作性处理联机事务处理（OLTP）面向交易存放的是实时数据（在线数据）数据库设计遵循三大范式，尽量避免冗余数据仓库面向数据分析依照分析需求、分析维度、分析指标进行设计存放的数据都是历史数据联机分析处理（OLAP）Hive数据仓库概念Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张数据库表，并提供类SQL查询功能。Hive其实就是一个SQL解析引擎，它
转载
2023-08-16 23:57:01
102阅读
数据仓库的定义 主要用于支持决策，面向分析型数据处理；其次对多个异构成的数据源有效集成，集成后按照主题进行重组，并包含历史数据，而且存放在数据仓库的数据一般不再修改。面向主题、集成的、相对稳定的、反应历史变化的数据集合，用于支持管理决策1）数据仓库是用于支持决策、面向分析型数据处理 2）对多个异构的数据源有效集成，集成后按照主题进行分组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。 面
转载
2023-09-15 21:52:46
109阅读
第一章 数据仓库的简介一、填空题1．数据仓库的目的是构建面向 分析 的集成化数据环境。2．Hive是基于 Hadoop 的一个数据仓库工具。3．数据仓库分为3层，即 源数据层&nbs
转载
2023-07-14 12:06:30
108阅读
数据仓库 Hive数据仓库是什么？集成化的数据分析平台如何由来？为了分析数据 分析的结果支持企业的决策特点本身不
原创
2022-10-31 11:25:20
75阅读
Hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。hive的主要用途：用来做离线数据分析，比直接用MapReduce程序开发效率更高。直接使用MapReduce所面临的问题：人员学习成本太高：使用mr直接分析数据的前提是需要开发复杂的mapreduce程序，这对于数据仓库的受众群体来说，学习成
转载
2023-07-20 20:10:11
143阅读
一、hive概念 hive：面向数据分析的存储系统 数据仓库和数据库对比分析 关系：两者均是用来存储数据的，即均为数据的存储载体。数据仓库也是数据库，是数据库的一种衍生、延深应用。数据仓库的出现，并不是要取代数据库，且当下大部分数据仓库还是用关
文章目录Hive 1.2.1大数据体系概述Hive架构数据仓库Hive 是什么Hive的安装版本介绍学习Hive安装主要流程Hive与传统数据库比较Hive的存储格式TextFileRCFileORCFileParquetSEQUENCEFILEAVROHive的四大常用存储格式存储效率及执行速度对比Hive操作客户端Hive的metastoreHive元数据表结构1、存储Hive版本的元数据表
转载
2023-10-24 09:23:03
106阅读
数据仓库Hive一、Hive简介数据仓库：面向主题、集成的、相对稳定的、反应历史变化的数据集合，用于支持管理决策。传统数据仓库面临挑战：无法满足海量数据存储需求；无法有效处理不同类型数据；计算可处理能力不足。 Hive满足上述挑战，且Hive架构在底层的Hadoop核心组件基础之上。借助HDFS和MapReduce两个Hadoop核心组件。借助SQL语言的新的查询语言HiveQL。Hive两大特性
转载
2023-07-13 16:34:51
151阅读
数据仓库概念数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 传统的数据仓库是数据存储产品也是数据处理分析产品，能同事支持数据的存储和处理分析 传统数据仓库所面临的挑战无法满足快速增长的海量数据存储需求无法有效处理不同类型的数据计算和处理能力不足构建在Hadoop平台之上的HiveHive本身不支持数据存储和处理，为用户提供了一种编程语言HiveQL，用户根
转载
2023-09-15 21:51:27
51阅读
1、Hive的存在可以简化MapReduce实现过程 （1）MapReduce编程的不便 （2）传统关系型数据库RDBMS人员的需要 （3）HDFS上的文件没有schema的概念：即没有表明、字段名、字段类型等信息。仅仅是一个字符串的文件。 2、Hive是什么？ （1）由Facebook开源，用于解 ...
转载
2021-07-28 15:56:00
296阅读
2评论
[数据仓库----hive进阶篇二（表的链接，子查询，客户端jdbc和Thrift Client操作，自定义函数）](javascript:void(0))一、数据的导入1、使用Load语句执行数据的导入1.语法：其中（中括号中表示可加指令）：
LOCAL：表示指定的文件路径是否是本地的，没有则说明是HDFS上的文件路径。
OVERWRITE：表示覆盖表中的已有数据
转载
2023-07-13 00:18:35
172阅读
文章目录Hive数据仓库——Hive SQL练习练习前准备1、启动hive2、在hive中创建test1数据库3、切换test1数据库4、创建students表5、创建score表6、查看表信息练习1、模仿建表语句，创建subject表，并使用hdfs dfs -put 命令加载数据2、查询学生分数（输出：学号，姓名，班级，科目id，科目名称，成绩）3、查询学生总分（输出：学号，姓名，班级，总分
转载
2023-09-02 17:15:14
367阅读
目录1.什么是数据仓库1.1 基本概念1.2 主要特征1.2.1 面向主题1.2.2 集成性1.2.3 非易失性（不可更新性）1.2.4 时变性2.数据库和数据仓库的区别3.数据仓库的分层架构4.数据仓库的元数据管理1.什么是数据仓库1.1 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Su
为了加深一下Hive操作的印象，也为了方便以后的学习，罗列一下Hive的基本操作。一、Hive基本操作1.在Linux本地新建/data/hive目录：mkdir -p /data/hive2.切换到/data/hive目录下，使用ftp工具将作业附件中的stu_group.txt文件上传到该目录下:推荐用WinSCP上传3.启动Hadoop，检查Hadoop相关进程是否已经启动:jps4.启动M
原创
2022-04-06 14:31:00
244阅读
1.数据仓库基本概念1.1什么是 Hive1）hive 简介：Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。 数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL2）Hive 本质： 将 HQL 转化成&
一、环境准备1.hadoop集群环境2.完整的Hive服务环境（连接了远程元数据库服务）注：hadoop集群或者hive服务没有搭建，请从参考前面的文章
二、实践准备1.启动hadoop集群启动hadoop三台机器，然后在主节点机器上启动hadoop集群：start-all.sh2.启动Hiveserver服务在hive机器上启动hiveserver服务：hive --servic
转载
2023-07-20 20:09:41
216阅读
基于Hadoop的数据仓库Hive1. 概述数据仓库概念数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。传统数据仓库面临的挑战无法满足快速增长的海量数据存储需求无法有效处理不同类型的数据计算和处理能力不足Hive
转载
2023-07-15 00:14:23
111阅读
文章目录Hive的产生背景及概念Hive将SQL转换为MR任务的过程数据仓库的概念Hive与RDBMS区别Hive的优缺点Hive架构 Hive的产生背景及概念Hive的产生背景在Hadoop中直接使用MapReduce处理大数据的开发难度大，因为需要针对每一个不同的业务场景开发出一套适用MR程序，并且使用MapReduce框架开发，项目周期长，成本高使用Hadoop框架开发时，Hdfs文件没有
转载
2023-10-16 10:05:20
68阅读
一、Hive是什么
要了解Hive是什么得先了解一下数仓(数据仓库)的概念，什么又是数据仓库呢？
数据仓库的目的是为了协助输出分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而可以节省时间和成本，提高质量。
数据仓库与数据库的不同在于，数据库主要是为了很好的解决事务问题，实现对数据的增、删除、改、查，而数据仓库则主要是用来做查询分析的数
转载
2023-07-20 20:10:01
73阅读
