这篇文章描述了 SELECT 语句 GROUP BY 子句的增强聚合功能 GROUPING SETS。GROUPING SETS 子句是 SELECT 语句的 GROUP BY 子句的扩展。通过 GROUPING SETS 子句，你可采用多种方式对结果分组，而不必使用多个 SELECT 语句来实现这一目的。这就意味着，能够减少响应时间并提高性能。在Hive 0.10.0版本中添加了 Groupin
转载
2023-07-12 17:12:34
323阅读
Spark shuffle 调优Spark 基于内存进行计算，擅长迭代计算，流式处理，但也会发生shuffle 过程。shuffle 的优化，以及避免产生 shuffle 会给程序提高更好的性能。因为 shuffle 的性能优劣直接决定了整个计算引擎的性能和吞吐量。下图是官方的说明，1.2 版本之后默认是使用 sort shuffle 。这样会更加高效得利用内存。之前版本默认是 hash shuf
转载
2023-07-14 12:38:14
154阅读
要点：优化时，把 hive sql 当做 map reduce 程序来读，会有意想不到的惊喜。 理解 hadoop 的核心能力，是 hive 优化的根本。 长期观察 hadoop 处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。
2．对 jobs 数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联
多次汇总，产生十几个 jobs，没半小时是跑不完的。map r
转载
2023-07-12 22:46:39
4阅读
Mapreduce自身的特点：1、IO和网络负载大；优化策略：减少IO和网络负载。2、内存负载不大。优化策略：增大内存使用率；3、CPU负载不大。优化策略：增大CPU使用率；（hive的优化应当根据mapreduce的作业特点和自己的作业实际需求进行优化）优化1、合并输入淘宝一个大型项目，上万Hive作业进行合并输入。A、单个作业B、多个作业作业间的血缘关系：作业间相同的查询，相同的源表。优化2、
转载
2023-07-20 19:01:49
45阅读
1、Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hi
转载
2023-08-05 18:02:34
152阅读
在 pytorch 中提供了 torch.optim 方法优化我们的神经网络，torch.optim 是实现各种优化算法的包。
转载
2023-05-30 12:00:14
122阅读
（一）优化策略根据实际使用情况，hive有很多优化策略，如：1，列裁剪 ：无需显示的列裁剪掉。实现列裁剪需设置：hive.option.cp=true. 2，分区裁剪： 通过加入where partition条件来进行分区裁剪,实现分区裁剪需设置hive.optimize.pruner=true. 3.jion in：尽量将jion表中列较少的表放在jion前面。因为join操作reduce阶段，
转载
2024-02-20 10:49:44
336阅读
1. Hive简介1.1 什么是Hive Hives是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。1.2 为什么使用Hive① 直接使用Hadoop面临人员学习成功太高、项目周期要求太短、MapReduce实现复杂查询逻辑开发难度太大等问题；② Hive操作接口采用类SQL语法，提供快速开发的能力，避免了去写MapReduce，减
转载
2023-07-14 19:36:31
71阅读
Hive on Tez 调优 一、配置参数调优 1、开启ORC表向量化执行： 向量化查询执行通过一次处理一个 1024 行的块来大幅提高IO效率（必须以ORC格式存储数据） set hive.vectorized.execution.enabled = true; set hive.vectorized.execution.reduce.enabled = true; – 当前环境hive版本暂不
转载
2023-07-06 22:10:16
627阅读
测试表以及测试数据+----------------------------------------------------+
| createtab_stmt |
+----------------------------------------------------+
| CREATE TABLE
转载
2023-08-22 19:56:25
48阅读
Hive调优的几个入手点：Hive是基于Hadoop框架的，Hadoop框架又是运行在JVM中的，而JVM最终是要运行在操作系统之上的，所以，Hive的调优可以通过如下几个方面入手：操作系统调优- Hadoop主要的操作系统是Linux，Linux系统调优包括文件系统的选择、cpu的调度、内存构架和虚拟内存的管理、IO调度和网络子系统的选择等等。JVM的调优- JVM调优主要包括堆栈的大小、回收器
转载
2023-09-08 18:05:25
155阅读
0.概述Hive的一般学习者谈性能调优的时候一般都会从语法和参数的角度来谈优化，而不会革命性的优化Hive的性能。Hive的核心性能问题往往是在超大规模数据集，例如100亿条级别的数据集，以及每天处理上千上万个Hive作业的情况下产生的。要从根本上解决实际企业中Hive真正的性能优化问题，必须考虑到底什么是Hive性能的限制，按照级别来说： 第一重要的是：战略性架构 解决海量数据大量job过于频
转载
2023-07-12 17:13:30
74阅读
一：Hive的ETL优化方案应用场景：Hive表数据倾斜，表中数据本身分布不均匀，频繁使用spark对某个Hive表执行操作方案实现思路：1.通过Hive 的ETL预先对数据按照key进行聚合，或和其他表预先进行join2.生成预处理后的Hive表(数据源已经不是原来的Hive表了)3.数据已经进行了预聚合或预join，所以spark作业不用进行shuffle操作原理：把数据倾斜的发生提前到了Hi
转载
2023-12-04 20:53:42
42阅读
hive调优是比较大的专题，需要结合实际的业务，数据的类型，分布，质量状况等来实际的考虑如何进行系统性的优化，hive底层是mapreduce，所以hadoop调优也是hive调优的一个基础,hvie调优可以分为几个模块进行考虑，数据的压缩与存储，sql的优化，hive参数的优化，解决数据的倾斜等。一、数据的压缩与存储对分析的数据选择合适的存储格式与压缩方式能提高hive的分析效率：压缩方式 压缩
转载
2023-07-14 12:16:05
101阅读
周末抽空搭建了一个10个节点的hadoop集群（CDH5.4.1）。
安装注意事项：做好各节点ssh等价，ntp时钟同步， 角色分配zookiper 最好独立磁盘个数为基数1,3,5 ， 做好高可用active, hue最好添加hdfs fttpfs角色，以免主备切换时hue不可用。
用途： 因为有商用的集群要升级，所以准备一个备用的集群，备
转载
2024-08-14 17:46:48
52阅读
1. 执行引擎 Hive支持多种执行引擎，例如MapReduce、Tez、Spark、Flink。我们可以通过hivesite.xml文件中的hive.execution.engine属性控制。
下面，通过一张图来展示使用Tez执行引擎对Hive的调优。
Tez是一个构建于YARN之上的支持复杂的DAG(有向无环图)任务的数据处理框架。由Hontonworks开源，将MapR
转载
2023-07-12 21:14:22
146阅读
目标：在有限的资源下提升执行效率； hive表的优化：分区 hive查询优化： 1、join优化： hive.optimize.skewjoin=true;如果是join过程中出现倾斜 应该设置为true； set hive.skewjoin.key=100000; 这个是join的键对应的记录条数 ...
转载
2021-10-13 11:31:00
383阅读
2评论
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的
转载
2023-12-11 18:15:06
93阅读
hive数据倾斜优化策略在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题 , 优化主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些 Counters得出的平均值， 而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段 的， map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据
转载
2023-07-14 11:39:33
252阅读
shuffle流程map方法之后，reduce方法之前过程shffule的过程：从map方法出来先到分区方法，然后进入缓冲环形区，进来之后进行分区和排序（左侧写数据，右侧写索引），环形缓冲是大小100M，达到80%时，就会溢写，溢写之前要对数据进行排序，排序的方法快排，要对key索引进行快排，按照字典顺序进行排序。排完序的数据进行溢写，对溢写的文件要进行归并排序，排完序之后把对应的数据放入相应的分
转载
2023-12-04 20:53:35
53阅读
