二 Hive 安装环境准备2.1 Hive 安装地址2.2 Hive 安装部署1）Hive 安装及配置（1）把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下（2）解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面[atguigu@hadoop102 software]$ tar -
转载
2024-08-16 13:21:27
24阅读
“ 大数据时代，熟练使用SQL是基础中的基础，而Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户快速、简便查询海量数据。”01 Hive是什么Hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据。举例：tel up
转载
2023-10-10 14:17:50
87阅读
一、Hive基本概念1.1 什么是Hive1） hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。2） Hive本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce （3）执
一、Hive 基本概念1）Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。2）Hive 本质：将 HQL 转化成 MapReduce 程序；Hive 处理的数据存储在 HDFSHive 分析数据底层的实现是 MapReduce执行程序运行在 Yarn 上3）Hive 架构原理
二、Hive安装部署1. 安装 Hive1）把 apa
转载
2021-06-10 17:25:16
388阅读
一、Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql
转载
2024-02-09 16:41:53
33阅读
大数据知识点全讲解之HiveHive简介Hive结构Hive与Hadoop的关系Hive安装Hive交互方式Hive数据类型Hive的基本数据类型Hive的复杂数据类型Hive元数据结构Hive和BeelineHive的基本操作数据库表操作内部表操作外部表操作分区表操作分桶表操作修改表结构 Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供
转载
2023-07-12 20:01:38
63阅读
九、企业级调优9.1 Fetch 抓取Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。在 hive-default.xml.template 文件中 hive.fetch.task.convers
转载
2023-11-26 14:27:49
53阅读
Hive的简介 Hive由 Facebook 开源用于解决海量结构化日志的数据统计工具，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是将 HQL 转化成 MapReduce 程序1）Hive 处理的数据存储在 HDFS上2）Hive 分析数据底层的实现是 MapReduce3）执行程序运行在 Yarn 上 Hiv
文章目录1 基本概念1.1 什么是Hive1.2 Hive 的优缺点1.3 Hive 架构原理1.4 Hive 和数据库比较2 Hive 安装2.1 Hive 安装部署2.2 MySQL 安装2.3 Hive元数据配置到 MySQL2.4 使用元数据服务的方式访问 Hive2.5 使用 JDBC方式访问 Hive2.6 Hive 常用交互命令2.7 Hive 常见属性配置3 Hive 数据类型3
转载
2023-09-25 21:28:43
122阅读
Hive简介定义Facebook为了解决海量日志数据的分析而开发了hive，后来开源给了Apache基金会组织。 hive是一种用SQL语句来协助读写、管理存储在HDFS上的大数据集的数据仓库软件。hive特点▪ hive 最大的特点是通过类 SQL 来分析大数据，而避免了写 mapreduce Java 程序来分析数据，这样使得分析数据更容易。 ▪数据是存储在HDFS上的，hive本身并不提供数
转载
2023-10-04 09:18:40
73阅读
第1章 Hive入门1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数据规模第2章 Hive安装、配置和使用2.1 Hive安装地址2.2 Hive安装部署2.3 将本地
转载
2024-08-16 13:02:26
99阅读
本文是我即将由嵌入式底层驱动行业转入大数据研究领域的综述文章，案例摘自《程序员》电子期刊，由于初学者知识面较窄，查看文献量较少，因此后续还会在此基础上，继续跟踪并深入研究，为论文撰写积累知识储备和素材。1. 大数据技术的应用领域2. 大数据技术的几个应用案例3. 大数据技术的问题与挑战4. 大数据技术的前景展望1.大数据技术的应用领域1.1 大数据研究的四项关键技术（1）数据采集、预处理与存储技术
简述Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。zookeeper工作机制Zookeeper从设计模式角度来理解：是一个基 于观察者模式设计的分布式服务管理框架，它负 责 存储和管理大家都关心的数据，然后接受观察者的 注册，一旦这些数据的状态发生变化，Z
转载
2024-07-04 17:27:56
60阅读
安装完CDH后，发现里面的东东实在是太多了，对于一个初学大数据的来说就犹如刘姥姥进了大观园，很新奇，这些东东每个单拿出来都够喝一壶的。接来来就是一步一步地学习了，先大致学习了每个模组大致做什么用的，然后再按模组一个一个细致学习，并实际演练。我给自已的第一个课题是如何将Sql Server的一个表数据导入到HDFS中，网上有很多这样的教程，不过我觉得最有用的还是官网的User Guide，网上的教程
转载
2023-07-13 01:32:30
217阅读
回顾：大数据平台技术栈 (ps:可点击查看)，今天就来说说其中的Hive！作者：高广超，多年一线互联网研发与架构设计经验，擅长设计与落地高可用、高性能、可扩展的互联网架构。目前从事大数据相关研发与架构工作。Hive简介Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给了Apache软件基金会。官网定义：The Apache Hive ™ data warehouse
转载
2023-10-30 18:50:18
151阅读
离线计算组件1.1 hive hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。但是在转换为MapReduce的计算过程中，计算速度
转载
2023-08-28 20:47:02
100阅读
Hive架构原理 1．用户接口：Client CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive） 2．元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表 ...
转载
2021-08-12 11:37:00
66阅读
2评论
数据仓库架构分层 1. 数据仓库架构 数据仓库标准上可以分为四层：ODS（临时存储层）、PDW（数据仓库层）、DM（数据集市层）、APP（应用层）。 1）ODS层： 为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。一般来说ODS层的数据和源系统的数据是同构的，主要目的是简化后续数据 ...
转载
2021-08-20 09:43:00
354阅读
2评论
与聚合函数类似，开窗函数也是对行集组进行聚合计算。但是它不像普通聚合函数那样，每组通常只返回一个值，开窗函数可以为每组返回多个值，因为开窗函数所执行聚合计算的行集组是窗口。 常见的格式如下： FUNCTION_NAME([argument_list]) OVER ( [PARTITION BY ...
转载
2021-09-06 11:47:00
468阅读
2评论
### Hive是什么结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。### 为什么使用Hive1.） 直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短M
转载
2024-03-12 07:38:40
57阅读
