简介Hive由Facebook开源，是一个构建才hadoop之上到数据仓库工具，可以把hdfs上到结构化数据映射成表，并通过mapreduce进行统计分析。Hive支持SQL-92标准，通过HQL屏蔽了复杂到MapReduce，但由于hadoop本身的限制，hive不支持随机修改表中的数据，也不支持追加操作。 Hive的优点学习成本低能够快速实现复杂的数据分析屏蔽mapreduceHive的架构
转载
2023-07-13 16:35:38
78阅读
作者：livanHQL是数据分析过程中的必备技能，随着数据量增加，这一技能越来越重要，熟练应用的同时会带来效率的问题，动辄十几亿的数据量如果处理不完善的话有可能导致一个作业运行几个小时，更严重的还有可能因占用过多资源而引发生产问题，所以HQL优化就变得非常重要，本文我们就深入HQL的原理中，探索HQL优化的方法和逻辑。group by的计算原理代码为：SELECT uid, SUM(COUNT)
目录 1.hive架构什么是HiveHive架构Hive优点Hive使用场景Hive的执行流程2.sql如何转为mapreduce程序的1.hive架构什么是HiveHive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce
转载
2023-08-27 16:38:50
132阅读
一、Hive的介绍及其设计原理1、Hive的设计目标及诞生设计目标：使用SQL来操作HadoopFaceBook：问题，Hadoop需要给公司的数据分析师来使用
数据分析师不会JavaJava工程不会数据分析让Java工程师基于Hadoop的接口做二次开发，让这个产品使用SQL来操作，底层全部由Hadoop来实现
工具：将SQL变成Hadoop的程序Hive：一个基于Hadoop之
转载
2023-07-20 21:43:15
123阅读
介绍 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行 。Hive本身是不能存储数据的，它只是记录数据的一些路径信息，最终所有的操作都转换成MapReduce操作，所以Hive
转载
2023-09-20 04:37:45
47阅读
一、什么是hive 如下图所示，hive在Hadoop生态中处于比较高层的位置，其本质上就是将mapreduce转换成了sql的写法。 却也sql不尽然相同，毕竟mysql等关系型数据的sql则是服务于web、应用等，是为了让数据更面向对象、更稳定、更原子性操作。而hive的目的则是数据分析，
转载
2023-08-18 19:23:47
75阅读
什么是MapJoin?MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。MapJoin的原理：即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进
转载
2023-08-21 23:35:16
70阅读
原理： 由 Facebook 开发的开源的数据统计工具。 是基于 Hadoop 的一个数据仓库工具。 本质：将 HQL/SQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS 2）Hive 分析数据底层的实现是 MapReduce 3）执行程序运行在 Yarn 上Hive的优缺点：优点： 1）操作接口采用类 SQL 语法，提供快速开发的能力 2）不用去写 MapRedu
转载
2023-07-14 12:52:32
46阅读
一、 Map Join原理Map Join介绍 MapJoin顾名思义，就是在Map阶段进行表之间的连接，map阶段直接拿另外一个表的数据和内存中表数据做匹配。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。通常用于一个很小的表和一个大表进行join的场景。MapJoin的原理及过程 执行过程如上图：首先是在本地客户端生成
转载
2023-07-25 13:52:21
98阅读
Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）一、 Hive Common Join如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join.整个过程包含Map、Shuffle、Reduce阶段。Map阶段读取源表的数据，M
转载
2023-09-04 11:53:41
41阅读
这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录： 一、Hive架构Hive的核心Hive的核心是驱动引擎，驱动引擎由四部分组成：解释器：解释器的作用是将HiveSQL语句转换为语法树（AST）。编译器：编译器是将语法树编译为逻辑执行计划。优化器：优化器是对逻辑执行计划进行优化。执行器：执行器是调用底层的运行框架执行逻辑执行计划。Hive的底层存储Hiv
本文旨在讲解Hive的运行原理，帮助使用者更好的了解在使用的过程中它做了些什么工作，深入的理解他的工作机制，提高开发人员理论层面的知识。后面会逐渐推出Hive使用、Hbase原理与使用等大数据专题类文章，敬请关注。什么是Hive？ Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL）
转载
2023-09-20 05:05:59
83阅读
hive是什么1Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用在好多不同的公司。例如，亚马逊使用它在 Amazon Elastic MapReduce。Hive通常意义上来说，
原创
2020-12-25 21:31:26
242阅读
# Hive 原理及实现
## 概述
Hive 是基于 Hadoop 的数据仓库基础架构，可以提供类似于 SQL 的查询和数据分析功能。它将结构化的数据文件映射为一张数据库表，并提供了一种类 SQL 查询语言 HiveQL，使用户可以方便地进行数据分析。
在本文中，我将向你介绍 Hive 的原理和实现过程。首先，我会通过表格展示整个流程的步骤，然后详细说明每个步骤需要做什么，包括使用的代码和
Hive框架主要由用户接口Client、元数据Metestore、Hadoop和驱动器Dirver四部分构成。其中驱动器Driver是面试重点。 1.用户接口：ClientCLI（command-line interface）、JDBC/ODBC（jdbc访问hive）、WEBI(浏览器访问hive)2.元数据：Metastore元数据包括：表名、表所属的数据库（默认是def
转载
2023-05-25 16:17:10
69阅读
Hive案例-蚂蚁森林一：蚂蚁森林/* 背景说明： 以下表记录了用户每天的蚂蚁森林低碳生活领取的记录流水。 table_name：user_low_carbon user_id data_dt low_carbon 用户 日期 减少碳排放（g） */drop table user_low_carbon;
create table user_low_carbon(user_id string,dat
转载
2023-07-20 20:05:50
49阅读
Q1、大数据中的数据仓库和Mpp数据库如何选型？A：■ rein07 某证券 系统架构师：在Hadoop平台中，一般大家都把hive当做数据仓库的一种选择，而Mpp数据库的典型代表就是impala，presto。Mpp架构的数据库主要用于即席查询场景，暨对数据查询效率有较高要求的场景，而对数据仓库的查询效率要求无法做大MPP那样，所以更多地适用与离线分析场景。■ 陈星星 科技公司&nbs
大数据技术基础实验九：Hive实验——部署Hive 文章目录大数据技术基础实验九：Hive实验——部署Hive一、前言二、实验目的三、实验要求四、实验原理五、实验步骤1、安装部署2、配置HDFS3、启动Hive4、Hive基本命令六、最后我想说 一、前言本周我们学习了有关Hive的相关基础知识，紧接着我们就将开始有关Hive的实验，周四开始做实验，我提前开始写，后面我就来试试Hive的创建表操作。
转载
2023-07-27 20:26:02
49阅读
MapReduceMapReduce原理非常重要，hive与spark都是基于MR原理MapReduce采用多进程，方便对每个任务资源控制和调配，但是进程消耗更多的启动时间，因此MR时效性不高。适合批量，高吞吐的数据处理。Spark采用的是多线程模型。MapReduce执行流程Map过程map函数开始产生输出时，并不是直接将数据写到磁盘，它利用缓冲的方式写到内存。每个map任务都有一个环形内存缓冲
转载
2023-06-29 20:56:15
139阅读
Hive架构原理1）用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）2）元数据：Metastore元数据包括：表名
原创
2023-02-01 09:48:14
78阅读
