背景： 在互联网公司经常会用每10分钟为维度去统计某一个指标，这种统计我们称为分时数据。例如10分钟内某个渠道的安装数据，通过这个数据可以实时查看这个渠道质量好坏，如果这个渠道质量不行，那么就停止投放，避免不必要的损失。有时候会用每10分钟累计一次（我们称为分时累计数据），通过折线图去看这个数据的走势。分时累计数据： 例如，00:00-00:10累计一次，00:00-00:20累计一次，00:00
转载
2023-09-08 18:22:34
129阅读
文章目录前言方法一方法二方法三备注总结 前言Hive提供三种可以改变环境变量的方法，分别是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行参数；（3）、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。方法一在Hive中，所有的默认配置都在 ${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置
转载
2024-06-11 13:12:03
61阅读
Hive作为大数据分析领域常用的仓库工具，即使是现在流式计算如火如荼背景下，Hive依然倍受各大厂商挚爱。 使用Hive过程中，面对各种各样的查询需求，需要具有针对性的优化。下面内容就是摘抄自《Hadoop 数据仓库实践》一书中关于Hive优化部分内容。在此，感谢作业的辛勤付出。《Hadoop 数据仓库实践》一书值得品读。部分优化已经用于我的实际工作中。比如使用ORC存储文件、启用压缩、开始向量化
转载
2023-07-13 21:29:10
170阅读
背景最近发现集群主节点总有进程宕机，定位了大半天才找到原因，分享一下排查过程查询hiveserver2和namenode日志，都是正常的，突然日志就不记录了，直到我重启之后又恢复工作了。排查各种日志都是正常的，直到查看Grafana，发现内存满了 在这个节点下已无内存资源可用，在服务宕掉的节点内存使用突然下降，猜测是linux内核的杰作，故查询系统日志grep "Out of memory" /v
转载
2024-06-27 08:28:38
57阅读
hive计算inner join报内存溢出：Caused by: java.lang.OutOfMemoryError: Java heap space处理方式：set mapred.child.java.opts=-Xmx1024m;再进行inner join计算
原创
2017-03-20 14:46:40
2300阅读
Hive 之 优化一、 Fetch 抓取二、 本地模式三、 表的优化3.1 小表、 大表 join3.2 大表 join 大表3.2.1 空 KEY 过滤3.2.2 空 key 转换3.3 MapJoin3.4 Group by（Map 端允许聚合）3.5 count(distinct) 去重3.6 笛卡尔积3.7 行列过滤3.8 动态分区调整四、 MR 优化4.1 合理设置 Map 数4.1.1
转载
2023-07-12 10:30:44
64阅读
在使用union all的时候，系统资源足够的情况下，为了加快hive处理速度，可以设置如下参数实现并发执行 set mapred.job.priority=VERY_HIGH;
set hive.exec.parallel=true; 设置map reduce个数 -- 设置map capacity
set mapred.job.map.capacity=2000;
set m
转载
2023-07-18 12:27:52
268阅读
系统内置函数查看系统自带函数show functions;显示自带函数的用法desc function upper;详细显示自带函数的用法desc function extended upper;Fetch抓取1.hive.fetch task.conversion设置成more,如下查询语句不会执行mapreduce
set hive.fetch task.conversion=more;(默
转载
2024-07-03 21:15:54
45阅读
1、hive参数优化之默认启用本地模式
启动hive本地模式参数，一般建议将其设置为true，即时刻启用：
hive (chavin)> set hive.exec.mode.local.auto;
hive.exec.mode.local.auto=false
2、设置hive执行模式
hive (default)> set hive.mapred.mode;
hive.m
转载
2023-08-18 23:21:19
84阅读
目录har小文件归档hive调优参数hive 调优扩展优化动态分区属性数据建模 维度建模 har小文件归档--用来控制归档是否可用
set hive.archive.enabled=true;
--通知Hive在创建归档时是否可以设置父目录
set hive.archive.har.parentdir.settable=true;
--控制需要归档文件的大小
转载
2023-08-22 11:33:36
162阅读
1、Mapper的影响因子 input_file_num：文件数量 input_file_size：文件大小 mapred.max.split.size(default 265M) mapred.min.split.size(default 1B) 切割算法（TextInputFormat切分） splitSize=max[minSize,min(maxSize,blockSize)]
转载
2024-06-11 08:24:43
147阅读
1 什么是Hive2 Hive的优缺点2.1 优点2.2 缺点3 Hive架构原理4 Hive和数据库比较4.1 查询语言4.2 数据存储位置4.3 数据更新4.4 索引4.5 执行4.6 执行延迟4.7 可扩展性4.8 数据规模1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并
转载
2024-08-20 21:58:58
51阅读
前些天配置好的Hive，同样的SQL运行的好好的，今天却突然就不行了，报了如下的错误，真是抓破脑袋也没有想明白为什么。 2016-10-21 06:42:52,190 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in n
转载
2023-08-28 13:37:46
237阅读
在应用软件的过程中我们总会遇到各种个各样的问题，今天我们就来解决hive客户端查询报堆内存溢出的问题。hive> select * from t_test where ds=20150323 limit 2;
OK
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space问题原因： hive堆内存默认为2
转载
2023-06-27 22:30:18
155阅读
一、hive数据模型数据模型提供了一种组织数据元素并将它们相关关联的方法。hive的数据模型和各种关系数据库非常相似。 创建数据库
CREATE DATABASES shopping；
语法结构：
CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
Hive 调优指南Apache Hive 是一个基于 Hadoop 的数据仓库解决方案，用于查询和分析大量的结构化数据。为了提高 Hive 查询性能和效率，本文将介绍一些 Hive 调优的策略和方法。1. 内存和资源配置1.1 调整内存分配为了提高查询性能，可以调整 MapReduce 任务的内存分配。在 hive-site.xml 配置文件中，设置以下参数：<!-- 设置 Map 任务的
转载
2023-06-25 19:01:25
1651阅读
Hive设置配置参数的方法Hive提供三种可以改变环境变量的方法，分别是：
（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；
（2）、命令行参数；
（3）、在已经进入cli时进行参数声明。方法一：hive-site.xml配置参数在Hive中，所有的默认配置都在 "{HIVE_HOME}/conf/hive-default.xml "文件中，如果需要对默认的配置
转载
2023-05-29 15:38:38
588阅读
一、 问题现象生产环境开启默认压缩后，Hive任务在触发MapJoin优化时会偶发OOM，如下图 二、 初步分析从报错日志上面可以明显看出，maplocaltask 总共的分配内存2092433408处理行数：200000 哈希表大小：199999 内存使用量：1089164624 比例：0.521处理行数：300000 哈希表大小：299999 内存使用量：1607333616 速率：0.76
转载
2023-07-14 19:52:29
471阅读
Hive 是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/stdout 传输数据 用户自定义函数: Substr, Trim, 1 – 1 用户自定义聚合函数
转载
2024-10-11 13:43:24
30阅读
# 解决Hive内存溢出问题的步骤
在处理大规模数据时，Hive的内存限制可能会导致内存溢出的问题。为了解决这个问题，我们可以采取以下步骤：
## 步骤概览
下表总结了解决Hive内存溢出问题的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 检查Hive查询，确认是否由于查询涉及的数据量太大而导致内存溢出 |
| 步骤二 | 优化查询语句，减少内存消耗 |
|
原创
2023-08-13 15:18:08
615阅读
