hive的安装简单一些,使用也比较简单,基础hadoop搭建好之后,只要初始化一些目录和数据库就好了安装需要做几件事:1.设立一个数据源作为元数据存储的地方,默认是derby内嵌数据库,不过不允许远程连接,所以换成mysql2.配置java路径和classpath路径下载地址: http://mirrors.shuosc.org/apache/hive/hive-2.3.2/发现一个问题:该地址会
转载
2023-11-19 15:54:28
66阅读
Presto的介绍
1. Presto是Facebook开发的分布式SQL查询引擎，用来进行高效、实时的数据分析；
2. Presto可以连接Hive、Mysql、Kafka等多种数据源，最常用的是通过Presto连接Hive数据源，可以解决Hive的MapReduce查询耗时太慢的问题；
转载
2023-07-17 22:36:21
118阅读
# 限制Hive查询使用资源的方法
在大数据处理环境中，Hive 是一个广泛使用的工具，它允许用户使用一种类似于 SQL 的语言来查询和分析存储在 Hadoop 中的数据。但是，在多用户环境中，如何合理地限制每个用户的查询资源，确保系统的稳定和性能，就显得尤为重要。本文将详细介绍如何实现这一目标。
## 流程概述
以下是限制Hive查询使用资源的基本流程：
| 步骤 | 描述 |
|---
原创
2024-09-11 03:52:17
233阅读
Hive性能调优
1.使用 EXPLAIN学习 Hive 是如何工作的第一个步骤就是学习 EXPLAIN 功能，其可以帮助我们学习 Hive 是如何将查询转化成 MapReduce 任务的。EXPLAIN SELECT SUM(number) FROM onecol;首先，会打印出抽象语法树。它表明 Hive 是如何将查询解析成 token(符号) 和 literal(字面值)
转载
2023-07-13 15:45:29
271阅读
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析
转载
2024-06-28 00:54:37
25阅读
Hive是基于Hadoop的一种数据仓库，对查询和管理分布式存储中的超大数据集提供了很大帮助。正如绝大部分开源软件一样，Hive允许用户调整参数改变Hive的默认行为。用户可以使用下面三种方法中的任意一种对Hive进行配置管理： 在Hive的CLI（命令行接口）使用set命令在会话层级为后续语句设置参数值，比如：set hive.exec.scratchdir=/tmp/mydir，将后续语句的
转载
2023-10-19 06:42:57
134阅读
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢1.文档编写目的在前面Fayson介绍了《如何使用Cloudera Manager设置使用YARN队列的ACL》和《如何在Cloudera Manager中配置Yarn放置
转载
2023-07-12 20:59:40
262阅读
文章目录1. 调优思路2. 环境搭建3. 查看执行计划3.1 explain3.2 explain extended3.3 explain dependency3.4 explain authorization3.5 explain vectorization4. sql执行计划解读5. 数据处理模式5.1 过滤模式5.2 聚合模式5.3 可计算中间结果的聚合5.4 不可计算中间结果的聚合5.5
转载
2023-09-20 04:44:54
406阅读
一、Date类1.1 概述java.util.Date类表示特定的瞬间，精确到毫秒。1.2 常用方法Date() 分配 Date 对象并初始化此对象，以表示分配它的时间（精确到毫秒）。Date(long date) &nb
转载
2024-10-24 13:33:22
10阅读
1. SELECT语句可以使用正则表达式做列选择，下面的语句查询除了ds和h 之外的所有列：SELECT `(ds|hr)?+.+` FROM sales2. LEFT SEMI JOIN的限制是， JOIN子句中右边的表只能在ON子句中设置过滤条件，在WHERE子句、SELECT子句或其他地方过滤都不行。3. Hadoop和Hive中数据都是用UTF-8编码的，所以, 所有中文必须是U
转载
2023-08-24 20:25:12
73阅读
Hive笔记3：Hive分桶、Hive JDBC目录Hive笔记3：Hive分桶、Hive JDBC一、Hive分桶1、开启分桶开关2、建立分桶表3、往分桶表中插入数据注意：二、Hive JDBC1、启动hiveserver22、新建maven项目并添加两个依赖3、编写JDBC代码一、Hive分桶分桶实际上是对文件（数据）的进一步切分Hive默认关闭分桶作用：在往分桶表中插入数据的时候，会根据
转载
2023-07-12 21:33:16
67阅读
# 如何在 Hive 中实现资源限制
在大数据处理领域，Hive 是一个非常流行的数据仓库工具。随着数据量的不断增加，如何适当地管理资源成为了一项重要任务。本文将向你介绍如何在 Hive 中实现资源限制，并提供具体的步骤、代码示例以及必要的解析。
## 整体流程
在 Hive 中限制资源的流程可以简单概括为以下几个步骤：
| 步骤 | 描述 |
|------|------|
| 第一步
原创
2024-10-05 06:53:11
167阅读
# Hive 查看资源的科普知识
随着大数据技术的快速发展，Apache Hive 作为一种非常流行的数据仓库，广泛应用于大数据处理和分析。Hive 可以让用户以类似 SQL 的方式来查询存储在 Hadoop 大数据环境中的数据。本文将介绍如何使用 Hive 查看资源，确保您能够有效地管理和优化您的 Hive 数据查询及执行资源。
## 什么是 Hive？
Hive 是一个基于 Hadoop
# Hive资源池
在大数据分析领域，Hive是一个非常受欢迎的数据仓库工具。它基于Hadoop的分布式文件系统（HDFS）构建，并提供了一个SQL-类接口来查询和分析大规模数据。为了优化资源的使用和管理，Hive引入了资源池的概念。
## 什么是资源池？
资源池是Hive中用于管理和分配计算资源的一种机制。它允许用户将集群资源划分为多个逻辑分区，并为每个分区分配不同的资源配额。这样，不同的
原创
2024-01-26 11:31:30
105阅读
## Hive 动态资源
在大数据处理领域，Hive 是一个流行的数据仓库工具，它允许用户使用类似 SQL 的语言来查询和分析数据。Hive 还提供了一种称为动态资源的功能，允许用户在运行查询时动态调整资源分配，以优化查询性能。
### 什么是动态资源？
动态资源是指在运行查询时可以动态分配和管理资源的功能。在 Hive 中，用户可以通过设置一些参数来控制动态资源的行为，例如队列的最大资源限
原创
2024-03-05 06:36:23
47阅读
# Hive资源评估
在大数据领域，Hive是一个常用的数据仓库工具，用于对大规模数据进行查询和分析。在使用Hive进行数据处理时，评估资源的使用情况是非常重要的，以确保作业的运行效率和稳定性。本文将介绍如何对Hive资源进行评估，并提供代码示例帮助读者更好地了解该过程。
## 什么是Hive资源评估
Hive资源评估指的是对Hive作业运行时所需要的资源进行估算和调优的过程。这些资源包括C
原创
2024-05-25 04:07:46
163阅读
## 如何实现 Hive 资源池：新手指南
Hive 资源池是一种用于管理 Hadoop 集群中资源（如 CPU、内存等）的技术，目的是提高查询性能和系统的整体效率。对于刚入行的开发者来说，实现 Hive 资源池可能会显得比较复杂，但其实只要按照一系列步骤进行，就能顺利实现。
### 流程概述
以下表格展示了实现 Hive 资源池的核心步骤：
| 步骤 | 描述 | 完成时间 |
| --
原创
2024-09-24 07:38:05
46阅读
啥是任务推测分布式集群环境下， 一个作业的多个任务可能运行速度不一致，可能出现某个任务拖后腿，拖慢整个进度，为了避免这种情况，hadoop采用了推测执行机制(speculative execution) , 根据一定法则推测出拖后腿的任务，并为此任务启动一个备份任务，让该任务与原始任务同时处理同一份数据，并最终选用最先成功运行完成任务的计算结果作为最终结果。任务推测的算法： 1.0.0版本和0.2
转载
2024-10-15 20:32:21
4阅读
一、输入文件过多1、Hive的创建文件数的限制Hive对文件创建的总数是有限制的，这个限制取决于参数：hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killin
转载
2023-08-18 22:51:03
236阅读
系列文章目录 文章目录系列文章目录前言一、数据导入1. 向表中装载数据(load)2. 通过查询语句导入(insert)二、数据导出1.hadoop导出2.insert导出3.shell导出4.Export 导出到 HDFS 上总结 前言这一次学习DML数据操作的导入和导出数据。一、数据导入1. 向表中装载数据(load)语法 load data [local] inpath ‘数据的 path’
转载
2024-09-14 22:37:13
95阅读
