一、Hive优化 大数据的学习：
1、学习工具及其原理（50%~70%）
2、学习重要的（java、scala、python、sql[mysql\hivesql\sparksql\flink sql]）(30%~40%)1、开启本地模式 大多数的Hadoop Job是需要Hadoop提供的完整的
转载
2024-06-21 12:03:20
60阅读
Hive 知识重点梳理1. Hive数据倾斜原因 key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜（示例如下）解决方法1. hive设置如下hive.map.aggr=true 在map中会做部分聚集操作，效率更高但需要更多的内存。hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR
转载
2024-03-10 22:36:20
373阅读
优化思路：hive性能优化时，把HiveQL当做M/R程序来读，即从M/R的运行角度来考虑优化性能，从更底层思考如何优化运算性能，而不仅仅局限于逻辑代码的替换层面。列裁剪Hive 在读数据的时候，可以只读取查询中所需要用到的列，而忽略其它列分区裁剪可以在查询的过程中减少不必要的分区，不用扫描全表。合理设置reduce的数量使大数据量利用合适的reduce数；使单个reduce任务处理合适的数据量。
转载
2024-08-14 20:33:07
62阅读
Hive数据倾斜Group By 中的计算均衡优化 1.Map端部分聚合 先看看下面这条SQL，由于用户的性别只有男和女两个值 （未知）。如果没有map端的部分聚合优化，map直接把groupby_key 当作reduce_key发送给reduce做聚合，就会导致计算不均衡的现象。虽
转载
2023-09-20 17:35:07
40阅读
hive数据倾斜产⽣的原因数据倾斜的原因很⼤部分是join倾斜和聚合倾斜两⼤类⼀、Hive倾斜之group by聚合倾斜原因： 分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久； 对⼀些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进⾏group by的时候，会将相同的group by字 段的reduce任务需要的数据拉取到同⼀个节点进⾏聚合，⽽当
转载
2023-07-06 22:00:22
209阅读
hive数据倾斜产⽣的原因数据倾斜的原因很⼤部分是join倾斜和聚合倾斜两⼤类 ⼀、Hive倾斜之group by聚合倾斜 原因： 分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久； 对⼀些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进⾏group by的时候，会将相同的group by字段的reduce任务需要的数据拉取到同⼀个节点进⾏聚合，
转载
2023-08-18 23:30:02
147阅读
---提高Hive总体性能的若干技巧 刘宗全 2012-12-20
本报告主要就如何提高Hive执行的总体性能进行了调研，下面以分条的形式列举出来。
1. 设置hive.map.aggr=true，提高HiveQL聚合的执行性能。
这个设置可以将顶层的聚合操作放在Map阶段执行，从而减轻清洗阶段数据传输和Reduce阶段的执行时间，提升总体性能。
缺点：该设置会消耗更多的内存。
转载
2024-01-23 21:13:11
47阅读
数据倾斜产生的原因数据倾斜的原因很大部分是join倾斜和聚合倾斜两大类Hive倾斜之group by聚合倾斜原因：
分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久；对一些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进行group by的时候，会将相同的group by字段的reduce任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数据
转载
2023-08-18 22:26:37
91阅读
1.是参数优化A .把 hive.fetch.task.conversion 设置成 more，然后执行查询语句的时候就不会走mr,不走mr的话执行效率会提高很多的。比如说select*from表，或者select *from表limit=5等等B .数据量非常小的情况下我们可以让他走本地模式，set hive.exec.mode.local.auto=true; 这样的话可以让通过本地模式在单
转载
2023-09-08 11:46:44
107阅读
1)Hive数据倾斜问题：
倾斜原因： map输出数据按Key Hash分配到reduce中,由于key分布不均匀、或者业务数据本身的特点。等原因造成的reduce上的数据量差异过大。
1.1)key分布不均匀
1.2)业务数据本身的特性
1.3)SQL语句造成数据倾斜
解决方案：
1>参数调节：
hive.map.aggr=true
hive.groupby.skewind
转载
2023-08-18 22:34:53
74阅读
Group By
Map 端部分聚合：
并不是所有的聚合操作都需要在 Reduce 端完成，很多聚合操作都可以先在 Map 端进行部分聚合，最后在 Reduce 端得出最终结果。
基于 Hash
参数包括：hive.map.aggr = truehive.groupby.mapaggr.checkinterval = 100000 在 Map 端进行聚合操作的条目数目
有数据倾斜的时候进
转载
2023-06-28 16:19:33
115阅读
1、数据倾斜的原因1.1 操作：1.2 原因：1)、key分布不均匀2)、业务数据本身的特性3)、建表时考虑不周4)、某些SQL语句本身就有数据倾斜1.3 表现：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时
转载
2023-07-13 01:01:26
562阅读
Join 的实现原理以下面这个 SQL 为例，讲解 join 的实现：select u.name, o.orderid from order o join user u on o.uid = u.uid;在 map 的输出 value 中为不同表的数据打上 tag 标记，在 reduce 阶段根据 tag 判断数据来源。MapReduce 的过程如下： MapReduce CommonJoin 的
转载
2023-08-18 22:27:40
63阅读
场景六.通过让MAP 端, 多去承担任务， 去减少 Reducer 的计算成本 和 数据传输成本。1）MAP JOIN 的方式2) MAP AGGR , 在 Map 端进行预聚合 构建测试数据use data_warehouse_test;
CREATE TABLE IF NOT EXISTS datacube_salary_org (
co
转载
2023-08-04 14:20:18
148阅读
# Redis Set True
在使用 Redis 进行数据存储时，set 命令是非常常用的一个命令。通过 set 命令，我们可以在 Redis 中存储一个键值对，其中键是一个字符串，而值可以是字符串、数字、列表、哈希表等各种数据类型。本文将介绍 Redis 中的 set 命令以及如何使用它来设置键的值为 true。
## Redis 简介
Redis（Remote Dictionary
原创
2023-12-18 08:26:25
133阅读
增加配置属性<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close">
原创
2021-12-26 20:18:12
617阅读
如何将“useLegacyPackaging”设置为true
## 介绍
在开发过程中，我们可能会遇到需要设置“useLegacyPackaging”为true的情况。该设置指示编译器使用传统的打包方式来构建项目，这对于一些特定的项目可能是必需的。在本文中，我将向你展示如何在你的项目中实现这一设置。
## 步骤
下面是实现“useLegacyPackaging should be set
原创
2024-01-09 21:53:12
733阅读
增加配置属性<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close"> <property name="driverClassName" value="com.mysql.cj.jdbc.Driver" />
原创
2021-12-26 20:18:12
1199阅读
一、Hive数据类型【1】基本数据类型【2】复杂类型二、运算符运算符描述A+BA和B 相加A-BA减去BA*BA和B 相乘A/BA除以BA%BA对B取余A&BA和B按位取与ABA^BA和B按位取异或~AA按位取反操作符描述A=B如果A等于B则返回TRUE，反之返回FALSEA<=>B如果A和B都为NULL，则返回TRUE，其他的和等号（=）操作符的结果一致，如果任一为NULL则
转载
2023-10-19 08:33:45
128阅读
Hive on Tez 的安装配置 文章目录Hive on Tez 的安装配置0. 写在前面1. 起源2. Tez概述3. 安装部署4. 解决日志Jar包冲突 0. 写在前面Hadoop：Hadoop-2.9.2Hive：Hive-2.3.7Tez：Tez-0.9.01. 起源Hortonworks在2014年左右发布了Stinger Initiative，并进行社区分享，为的是让Hive支持更多
转载
2023-11-27 10:15:13
66阅读
