由于数据量巨大，单机无法存储，所以我们需要将用很多台机器存储数据，HDFS(Hadoop Distributed FileSystem)就应用而生，它是专门负责管理这么多台单机之间的数据，你存取数据都是和单机一样的操作流程，但实际上这些数据都是在多台单机上存储的，相当于HDFS是一个帮你管理大数据的界面，你不用管它后面是怎么的关系，只需要在它这儿操作就可以了。光有数据也
转载
2023-08-23 21:16:56
103阅读
一、Hive on Tez概述
### --- Hive on Tez
~~~ Hortonworks在2014年左右发布了Stinger Initiative，
~~~ 并进行社区分享，为的是让Hive支持更多SQL，并实现更好的性能。
~~~ 让Hive的查询功能更强大。增加类似OVER子句的分析功能，支持WHERE子查询，
~~~ 以
转载
2024-08-02 13:10:41
114阅读
# Hive on Spark 和 Hive on MR 的区别
## 1. 引言
Hive 是构建在 Hadoop 之上的数据仓库工具，它帮助开发者用 SQL 查询大规模数据集。而 Hive 可以运行在不同的执行引擎上，其中最常见的有 MapReduce（MR）和 Spark。这篇文章将帮助你理解 Hive on Spark 和 Hive on MR 的区别，并教你如何实现它们。
## 2
Hive架构流程（十分重要，结合图进行记忆理解）当客户端提交请求，它先提交到Driver,Driver拿到这个请求后,先把表明，字段名拿出来，去数据库进行元数据验证，也就是Metasore，如果有，返回有，Driver再返回给Complier编译器，进行HQL解析到MR任务的转化过程，执行完之后提交回给Driver一个MR任务，然后提交到Hadoop集群，交给YRAN进行接收请求并处理，产生结果，
转载
2023-07-14 14:36:27
497阅读
在大数据处理领域，MapReduce（MR）和Hive on Spark是两种流行的处理模型。然而，它们在架构、使用方式和性能上存在着显著的区别。本文将详细对比这两种技术，并提供详细的操作和管理指南。
### 环境预检
在开始之前，我们需要先对环境进行预检，以确保硬件和软件能够支持MR与Hive on Spark的运行。
创建思维导图以总结需要的硬件与软件要求，这里列出了必要的组件：
``
# MR与Hive on Spark的区别
在大数据处理领域，MapReduce（简称MR）和Hive on Spark都是常用的计算模型，而这两者在实现原理、性能和使用场景等方面有着显著的区别。本文将深入探讨这两种技术的对比，并通过代码示例加以说明。
## 什么是MapReduce？
MapReduce是一种编程模型，用于处理和生成大规模数据集。它由两个主要部分构成：Map阶段和Reduc
1.Hive简述 1.1 Hive是什么 Hive是数据仓库.它是构建在Hadoop之上的,通过解析QL(Hive SQL),转换成MR任务(Tez,Spark......)去提交执行. RDBMS一般是写验证,而Hive是读验证,即数据进入不会验证数据是否符合要求,只在读取的时候检查,解析具体字段 1.2 Hive的优缺点 优点: 可以直接访问HDFS,或者其它的
转载
2023-11-13 12:42:49
119阅读
一，调优基础 ：1 ，连接暗示 ：需求 ： 让 join 发生在 map 端sql ：select /*+ mapjoin(customers) */ a.*,b.*
from customers a left outer join orders b
on a.id=b.cid;2 ，hive 执行计划hql 在执行的时候，是转化成了什么样的 mr 去执行的。3 ，查看执行计划 ： expla
转载
2023-09-05 15:24:40
111阅读
-- hive的库、表等数据操作实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容。一、hiveSQL转化为MR过程 一直好奇hiveSQL转化为MR过程，好奇hive是如何做到这些的，所以在网上找了几篇相关博客，根据自己理解重新画了一份执行过程图，做笔记。 二、h
转载
2023-07-12 09:30:10
165阅读
Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS）
转载
2023-09-12 03:47:08
113阅读
Fetch抓取 hive中的某些查询不必使用MR，例如select * from，在这种情况下，hive可以简单的读取表的存储目录下的文件，然后输出查询结果到控制台。 hive.fetch.task.conversion设置成mre，如下查询方式都不会执行MR程序 hive (default)> set hive.fetch.task.conversion=more; hive (defau
转载
2024-05-30 13:39:12
95阅读
1、在安装hive之前要先安装hadoop，具体的安装方法请看：2、从http://mirror.bit.edu.cn/apache/hive/中下载hive，选择2.3.6版本，如下图所示：3、使用tar -xzvf apache-hive-2.3.6-bin.tar.gz命令解压，如下图所示：4、使用mv apache-hive-2.3.6-bin hive-2.3.6将原目录更改名称，如下图
基于hive引擎的计算优化本篇文章主要介绍hive引擎的计算优化，可能也是一篇实打实的对大家实际工作带来帮助的文章，全文主要包含三个部分：hive底层、hive参数调优、常见问题解决一、hive底层 - MapReduce1.MR进程一般一个完成的MR程序在运行时有三个进程，分别如下： （1）MR Appmaster：负责整个调度和过程协调 （2）MapTask：负责Map阶段的整个数据处理流程
转载
2023-11-24 21:07:57
498阅读
# Hive MapReduce
在大数据领域中，Hive是一个非常强大的数据仓库基础设施，它能够提供类似于SQL的查询语言来处理海量数据。而Hive MapReduce（简称Hive MR）是Hive的核心组件之一，它使用了MapReduce框架来实现Hive的查询功能。
## 什么是MapReduce？
MapReduce是一种用于处理和生成大规模数据集的一种编程模型和算法。它分为两个阶
原创
2023-12-05 16:26:13
34阅读
Hive on MR是基于MapReduce的Hive实现，可以用于大数据处理。然而，随着数据技术的不断演进，Hive的实现逐渐转向Spark等计算引擎。因此，了解“Hive on MR”的迁移以及兼容性处理变得至关重要。下面将详细介绍“Hive on MR”相关问题的解决方案。
## 版本对比与兼容性分析
Hive on MR和其他实现版本（如Hive on Spark）的对比可以通过如下四
进入hive cli是，会有如下提示： Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases. Hive
转载
2023-08-11 11:38:00
373阅读
我们知道，Hive默认使用的计算引擎是MR，但有没有想过我们写的HQL语句是如何转换为MR程序的？所以博主总结了一些简单HQL语句转换为MR的基本原理【1】常用SQL转换操作 Join的实现原理 对于SQL来说，join操作可以说是最常用的操作了，那么是如何转换为MR程序的呢？SQL语句如下?select u.name, o.orderid from order o join user u on
转载
2023-07-14 13:10:26
202阅读
一、Hive的概念介绍（相当于Hadoop的客户端） 1> Hive处理的数据存储在HDFS中 2>Hive分析数据的底层是MR（在安装完Hive的时候它底层已经完成了对应SQL语句和MR编程的对应关系的模板的写入，将所有MR模板封装在Hive中），而当客户端输入的SQL语句时，
转载
2023-11-20 07:57:59
71阅读
hive就是一个将sql语句转化为MR工具hive的工作原理：1、使用antlr定义sql语法，（详细见hive.g），由antlr工具将hive.g编译为两个java文件：HiveLexer.java HiveParser.java，可以将输入的sql解析为ast树2、org.apache.hadoop.hive.ql.Driver对ast树进行
转载
2024-01-17 14:17:52
142阅读
背景：熟悉MR执行的步骤后，可以往3个点继续分析：1. code：MR的执行code，根据执行的步骤产出流程图。2.引擎：了解TEZ/SPARK sql执行的步骤，产出如MR一样的流程图，清楚MR，TEZ，SPARK SQL的区分3.sql编译过程：熟悉hsql提交到执行计划，到MR执行的过程，输出文档。 目前从第三点入手，主要还是跟工作息息相关。美团文章：https://tech.me
转载
2024-08-22 16:14:53
85阅读
