涉及到的知识点：Hive的体系结构安装和配置Hive的数据模型：内部表、分区表、外部表，桶表、视图Hive的查询（本质就是SQL）Hive的Java API（本质就是JDBC程序）Hive的自定义函数（UDF：user defined function。本质就是一个Java程序）Hive的体系结构Hive其实是构建在Hadoop上的数据仓库平台，为数据仓库管理提供了许多功能。其中最常用的功能就是翻
转载
2024-04-16 15:01:32
70阅读
Operator接口https://insight.io/github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/exec/Operator.java?line=66 这个接口最重要的一个方法：/**
* Process the row.
* @param row The object repre
转载
2024-01-10 13:41:44
36阅读
目录1 Hive内置运算符2 关系运算符3 算术运算符4 逻辑运算符1 Hive内置运算符随着Hive版本的不断发展，在Hive SQL中支持的、内置的运算符也越来越多。可以使用下面的命令查看当下支持的运算符和函数，并且查看其详细的使用方式。https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用课程附件中的
转载
2023-07-12 22:14:22
44阅读
Hive作为数据仓库，同关系型数据库开发过程类似，都需要先进行建模，所谓建模，就是对表之间指定关系方式。建模在hive中大致分为星型、雪花型和星座型。要对建模深入理解，首先需要对hive数仓中的几种表概念进行界定。hive中的表从形态上分内部表、外部表、桶表、分区表。在数据逻辑上划分为维度表和事实表。维度表等价于我们常说的字典表。事实表就是字典表之外的数据表。1.1 星型模型多张维度表，一张事实表
转载
2023-07-12 16:33:07
51阅读
华为终端设备搭载了众多黑科技，今天我们就来揭秘一下端上的AI引擎：MindSpore Lite。MindSpore Lite是MindSpore全场景AI框架的端侧引擎，目前MindSpore Lite作为华为HMS Core机器学习服务的推理引擎底座，已为全球1000+应用提供推理引擎服务，日均调用量超过3亿，同时在各类手机、穿戴感知、智慧屏等设备的AI特性上得到了广泛应用。MindSpore
1.1 Hive引擎简介 Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。1.2 Hive on Spa
转载
2023-09-20 06:30:22
287阅读
Hive 支持的3种计算引擎: MR Tez Spark的介绍
原创
2022-09-17 02:27:27
1476阅读
在现代大数据处理平台中，Hive作为一种数据仓库工具，通常使用MapReduce、Tez或Spark作为计算引擎。对于使用Hive进行大数据分析的团队来说，如何正确设置计算引擎，以确保作业的高效执行，是一个至关重要的问题。以下是我整理的关于“hive的计算引擎设置”的详细过程，旨在帮助大家更好地配置和优化Hive的计算能力。
---
### 背景定位
在一个给定的项目中，我们频繁地运行Hive
Hive的基本概念1. 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序Hive处理的数据存储在HDFS Hive分析数据底层的实现是MapReduce 执行程序运行在Yarn上1.2. Hive的优缺点1.2.1
转载
2023-07-12 17:05:24
91阅读
文章目录Spark简介Spark特点Spark架构Spark实例进程Driver驱动器Executor执行器Spark运行模式Local模式Standalone模式Yarn模式RDD分布式数据集RDD简介RDD拥有的属性RDD特点1.分区2.只读3.依赖4.缓存5.CheckPointRDD编程模型 Spark简介Spark是专为大规模数据处理而设计的计算引擎。Spark拥有Hadoop Map
转载
2023-08-11 16:59:16
156阅读
# Hive更换计算引擎指南
在大数据处理的过程中，Hive作为一个数据仓库工具，能够有效地查询和管理存储于Hadoop的海量数据。默认情况下，Hive使用的是Hive自己的计算引擎，但随着技术的发展，我们可能会希望使用更适合特定场景的计算引擎，比如Apache Spark。本文将介绍如何更换Hive的计算引擎，帮助小白掌握这一技能。
## 流程概述
以下是更换Hive计算引擎的一般流程：
原创
2024-10-01 04:13:59
139阅读
修改hive计算引擎进入hive客户端设置mapreduce引擎set hive.execution.engine=mr;设置tez引擎set hive.execution.engine=tez;设置spark引擎set hive.execution.engine=spark;
原创
2021-08-05 13:55:13
1753阅读
HIVE调优是一个很大的课题，涉及到hive本身的调优，hive底层的mapreduce计算引擎的调优，sql的调优，数据倾斜调优，小文件问题的调优，数据压缩的调优等以下提供一些主要的调优总结：1.数据的压缩与存储格式 hive底层的计算引擎是mapreduce，而mapredu
转载
2023-10-22 17:29:23
125阅读
一 Hive基本概念1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL/SQL转化成MapReduce程序1：Hive处理的数据存储在HDFS2：Hive分析数据底层的实现是MapReduce3：执行程序运行在Yarn上 1.2
转载
2023-07-25 13:53:54
59阅读
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用
转载
2023-08-08 11:22:24
28阅读
MySQL是我们经常使用的数据库处理系统（DBMS），不知小伙伴们有没有注意过其中的“存储引擎”（storage_engine）呢？有时候面试题中也会问道MySQL几种常用的存储引擎的区别。这次就简短侃一下存储引擎那些事儿。先去查一下“引擎”概念。引擎（Engine）是电子平台上开发程序或系统的核心组件。利用引擎，开发者可迅速建立、铺设程序所需的功能，或利用其辅助程序的运转。一般而言，引擎是一个程
转载
2023-12-19 10:37:37
72阅读
今日要准备容器培训，学习了docker engine相关的知识，总结记录下。1、Docker 引擎 Docker 引擎是用来运行和管理容器的核心软件，采用模块化的设计原则，在许多专用部件的协同工作下实现创建和运行容器，之所以介绍这个是因为它和原理息息
转载
2023-07-17 09:39:35
217阅读
什么是HiveHive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载，可以简称为ETL。Hive 定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据，同时，这个语言也允许熟悉MapReduce的开发者开发自定义的mapreduce任务来处理内建的SQL函数无法完成的复杂的分析任务。Hive中包含的有SQL解析引
转载
2023-07-13 15:37:48
159阅读
计算机虚拟化虚拟化简介 虚拟化和云计算不一样，虚拟化是一种技术，虚拟化的本质就是将原先的物理设备进行逻辑化，转化成一个文件夹或文件，实现软硬件的解耦。 计算机虚拟化根据虚拟机组成的设备包含CPU虚拟化、内存虚拟化和IO虚拟化。CPU虚拟化 运行虚拟机的物理主机成为宿主机，而宿主机安装运行的操作系统称为宿主机操作系统。运行在宿主机上的虚拟机称为客户机，虚拟机安装运行的操作系统称为客户机操作系统。位于
转载
2023-08-28 13:22:02
18阅读
一、Hive概述基于Hadoop的数仓管理工具，可以将结构化的数据映射成一张表，并提供类sql查询功能。hive的运算底层是mapReduce程序，他的数据存储在HDFS上，在yarn上运行的任务。优点：提供类sql的语法，提供快速开发的能力，避免写mapReduce程序，减少开发人员的学习成本。Hive擅长处理大数据场景，耗时比较长，用于分析对实时要求不高的场合支持用户自定义函数，通过编码实现适
转载
2024-06-14 17:09:41
107阅读
