系统内置函数查看系统自带函数show functions;显示自带函数的用法desc function upper;详细显示自带函数的用法desc function extended upper;Fetch抓取1.hive.fetch task.conversion设置成more,如下查询语句不会执行mapreduce
set hive.fetch task.conversion=more;(默
转载
2024-07-03 21:15:54
45阅读
目录har小文件归档hive调优参数hive 调优扩展优化动态分区属性数据建模 维度建模 har小文件归档--用来控制归档是否可用
set hive.archive.enabled=true;
--通知Hive在创建归档时是否可以设置父目录
set hive.archive.har.parentdir.settable=true;
--控制需要归档文件的大小
转载
2023-08-22 11:33:36
162阅读
1、hive参数优化之默认启用本地模式
启动hive本地模式参数，一般建议将其设置为true，即时刻启用：
hive (chavin)> set hive.exec.mode.local.auto;
hive.exec.mode.local.auto=false
2、设置hive执行模式
hive (default)> set hive.mapred.mode;
hive.m
转载
2023-08-18 23:21:19
84阅读
在使用union all的时候，系统资源足够的情况下，为了加快hive处理速度，可以设置如下参数实现并发执行 set mapred.job.priority=VERY_HIGH;
set hive.exec.parallel=true; 设置map reduce个数 -- 设置map capacity
set mapred.job.map.capacity=2000;
set m
转载
2023-07-18 12:27:52
268阅读
在应用软件的过程中我们总会遇到各种个各样的问题，今天我们就来解决hive客户端查询报堆内存溢出的问题。hive> select * from t_test where ds=20150323 limit 2;
OK
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space问题原因： hive堆内存默认为2
转载
2023-06-27 22:30:18
155阅读
前些天配置好的Hive，同样的SQL运行的好好的，今天却突然就不行了，报了如下的错误，真是抓破脑袋也没有想明白为什么。 2016-10-21 06:42:52,190 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in n
转载
2023-08-28 13:37:46
237阅读
1 什么是Hive2 Hive的优缺点2.1 优点2.2 缺点3 Hive架构原理4 Hive和数据库比较4.1 查询语言4.2 数据存储位置4.3 数据更新4.4 索引4.5 执行4.6 执行延迟4.7 可扩展性4.8 数据规模1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并
转载
2024-08-20 21:58:58
51阅读
1、Mapper的影响因子 input_file_num：文件数量 input_file_size：文件大小 mapred.max.split.size(default 265M) mapred.min.split.size(default 1B) 切割算法（TextInputFormat切分） splitSize=max[minSize,min(maxSize,blockSize)]
转载
2024-06-11 08:24:43
143阅读
Hive 调优指南Apache Hive 是一个基于 Hadoop 的数据仓库解决方案，用于查询和分析大量的结构化数据。为了提高 Hive 查询性能和效率，本文将介绍一些 Hive 调优的策略和方法。1. 内存和资源配置1.1 调整内存分配为了提高查询性能，可以调整 MapReduce 任务的内存分配。在 hive-site.xml 配置文件中，设置以下参数：<!-- 设置 Map 任务的
转载
2023-06-25 19:01:25
1651阅读
Hive设置配置参数的方法Hive提供三种可以改变环境变量的方法，分别是：
（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；
（2）、命令行参数；
（3）、在已经进入cli时进行参数声明。方法一：hive-site.xml配置参数在Hive中，所有的默认配置都在 "{HIVE_HOME}/conf/hive-default.xml "文件中，如果需要对默认的配置
转载
2023-05-29 15:38:38
588阅读
文章目录前言方法一方法二方法三备注总结 前言Hive提供三种可以改变环境变量的方法，分别是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行参数；（3）、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。方法一在Hive中，所有的默认配置都在 ${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置
转载
2024-06-11 13:12:03
61阅读
一、 问题现象生产环境开启默认压缩后，Hive任务在触发MapJoin优化时会偶发OOM，如下图 二、 初步分析从报错日志上面可以明显看出，maplocaltask 总共的分配内存2092433408处理行数：200000 哈希表大小：199999 内存使用量：1089164624 比例：0.521处理行数：300000 哈希表大小：299999 内存使用量：1607333616 速率：0.76
转载
2023-07-14 19:52:29
468阅读
Hive 是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/stdout 传输数据 用户自定义函数: Substr, Trim, 1 – 1 用户自定义聚合函数
转载
2024-10-11 13:43:24
28阅读
背景： 在互联网公司经常会用每10分钟为维度去统计某一个指标，这种统计我们称为分时数据。例如10分钟内某个渠道的安装数据，通过这个数据可以实时查看这个渠道质量好坏，如果这个渠道质量不行，那么就停止投放，避免不必要的损失。有时候会用每10分钟累计一次（我们称为分时累计数据），通过折线图去看这个数据的走势。分时累计数据： 例如，00:00-00:10累计一次，00:00-00:20累计一次，00:00
转载
2023-09-08 18:22:34
129阅读
# Hive 内存比例及其配置详解
在大数据处理领域，Apache Hive 是一个非常流行的数据仓库基础设施，能够有效地查询和分析大规模的数据集。作为一个建立在 Hadoop 之上的工具，Hive 的性能和效率在很大程度上依赖于内存管理。在本文中，我们将探讨 Hive 的内存比例配置，了解如何优化其性能，并提供一些代码示例。最后，我们将附上一个简单的甘特图，以便更好地理解 Hive 内存的使用
原创
2024-09-16 03:51:44
41阅读
# Hive 内存设置
## 简介
Hive 是一个开源的数据仓库工具，它运行在 Hadoop 上，提供了方便的 SQL 查询和数据分析功能。在 Hive 中，内存设置是一个非常重要的配置项，它直接影响到 Hive 查询的性能和稳定性。
本文将介绍 Hive 内存设置的相关知识，并提供一些示例代码来帮助读者更好地理解和配置 Hive 内存。
## Hive 内存设置的重要性
在 Hive
原创
2023-09-28 05:15:00
172阅读
# Hive设置内存
## 引言
在Hive中，我们可以通过设置内存参数来优化查询性能和提高集群的吞吐量。本文将介绍如何设置Hive的内存参数，以及说明每一步需要做什么。
## 操作流程
下表展示了设置Hive内存的整个流程：
| 步骤 | 操作 |
| --- | --- |
| 1 | 确定需要调整内存的参数 |
| 2 | 修改Hive配置文件 |
| 3 | 重启Hive服务 |
原创
2023-09-26 23:04:01
452阅读
# 解决Hive内存溢出问题的步骤
在处理大规模数据时，Hive的内存限制可能会导致内存溢出的问题。为了解决这个问题，我们可以采取以下步骤：
## 步骤概览
下表总结了解决Hive内存溢出问题的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 检查Hive查询，确认是否由于查询涉及的数据量太大而导致内存溢出 |
| 步骤二 | 优化查询语句，减少内存消耗 |
|
原创
2023-08-13 15:18:08
615阅读
Hive作为大数据分析领域常用的仓库工具，即使是现在流式计算如火如荼背景下，Hive依然倍受各大厂商挚爱。 使用Hive过程中，面对各种各样的查询需求，需要具有针对性的优化。下面内容就是摘抄自《Hadoop 数据仓库实践》一书中关于Hive优化部分内容。在此，感谢作业的辛勤付出。《Hadoop 数据仓库实践》一书值得品读。部分优化已经用于我的实际工作中。比如使用ORC存储文件、启用压缩、开始向量化
转载
2023-07-13 21:29:10
170阅读
Hive是一个基于Hadoop的数据仓库系统，它提供了SQL-like查询语言来操作Hadoop上的大数据。在使用Hive时，我们通常需要做一些参数调优来提高其性能。本文将介绍一些常用的Hive参数以及如何进行性能调优。一、Hive参数1.1 压缩参数压缩是Hive性能优化中的一个重要参数。使用Hadoop支持的压缩格式，可以优化Hive查询的执行速度，减少磁盘空间的占用。以下是一些常见的Hive
转载
2024-06-27 05:06:16
260阅读
