一、控制hive任务中的map数:1、通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2、举例：a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔
转载
2024-08-03 20:04:18
102阅读
MapReduce实现基本SQL操作的原理 详细讲解SQL编译为MapReduce之前，我们先来看看MapReduce框架实现SQL基本操作的原理 Join的实现原理select u.name, o.orderid from order o join user u on o.uid = u.uid; 在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。一、Hive Common Join如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join.整个过程包含Map、Shuffle、Reduce阶段。Map
转载
2023-07-12 09:58:40
221阅读
一、 控制hive任务中的map数:1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2.&
转载
2024-06-18 08:06:27
57阅读
Hive优化一、Hive任务创建文件数优化1.1 Map端文件合并减少Map任务数量一般来说，HDFS的默认文件块大小是128M，如果在Hive执行任务时，发现Map端的任务过多，且执行时间多数不超过一分钟，建议通过参数，划分(split)文件的大小，合并小文件。如：set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInpu
转载
2023-09-20 06:32:51
227阅读
1.hive本身只是在hadoop map reduce 或者spark 计算引擎上的封装，应用场景自然更局限，不可能满足所有需求。有些场景是不能用hive来实现，就需要map reduce或者spark rdd编程来实现。2.结构复杂的日志文件，首先要经过ETL处理（使用mapreduce），得到的数据再有hive处理比较合适。直接让hive处理结构复杂的数据估计很难处理。小结：业务比较复杂的，
转载
2023-08-18 22:59:57
98阅读
Map-Reduce简介map-reduce是hadoop中第二个核心，用于对hdfs中的文件做映射-归集处理。map阶段可以将文件中的数据以行的方式读取出来处理成想要的基本数据类型或者自定义数据类型，生成key-value到文件中，reduce阶段拿到已做过分组的key-value(多值)，然后可以对value循环做分组操作。灵活的使用key可以完成非常强大的功能。适合处理离线大批量数据
转载
2024-04-19 13:34:40
73阅读
汝之观览，吾之幸也！本文主要讲解Hive的基本概念与架构，学习了Hadoop知道了MapReduce，那么在实际运用中如果慢慢写MapReduce程序也是可以的，但是太麻烦了，也比较费时间，所以大佬们就开始用其他方式代替了，基本的SQL大家都会的，那么大佬设计出Hive，通过Hive的HQL转换为MapReduce,这样就省去写MapReduce的步骤了。Hive官网一、什么是Hive Hive：
转载
2023-10-05 19:13:08
98阅读
一、控制hive任务中的map数:通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；举例： a) 假设input目录下有1个文件a,大小为780M,那么hado
转载
2023-08-18 22:24:53
188阅读
1.数据倾斜原理 1.1 MapReduce原理 MapReduce分为Map、Shuffle、Reduce三个阶段： 1， Map阶段完成数据分割(Split)和单Map内数合并与排序： 经过map方法后，map的输出映射为key,value，key,value会参与分区计算，拿着key算出分区号(根据key的hash值，对reduce个数取余)，最终map输出key,value,分区(part
转载
2023-07-12 11:54:00
469阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录 前言一、Hive中Map的个数是如何确定的？二、如何修改Map个数？总结 前言Hive是如何将SQL转换成MapReduce的？又是如何运行在不同的的执行引擎如：Mr,Tez,Spark？我们在工作时哪些地方需要进行优化？带着这些问题我们将开展一期实战的性能优化。 一、Hive中Map的个数是如何确定的？原理：默认情况下Map的
转载
2023-07-14 11:13:28
77阅读
控制Hive中Map和reduce的数量Hive中的sql查询会生成执行计划，执行计划以MapReduce的方式执行，那么结合数据和集群的大小，map和reduce的数量就会影响到sql执行的效率。除了要控制Hive生成的Job的数量，也要控制map和reduce的数量。1、 map的数量，通常情况下和split的大小有关系，之前写的一篇blog“map和reduce的数量是如何定义的”有描述。h
转载
2023-08-18 22:26:42
117阅读
1 什么是MapReduce？ Map本意可以理解为地图，映射（面向对象语言都有Map集合），这里我们可以理解为从现实世界获得或产生映射。Reduce本意是减少的意思，这里我们可以理解为归并前面Map产生的映射。2 MapReduce的编程模型 按照google的MapReduce论文所说的，MapReduce的编程模型的原理是：利用一个输入key/value对集合来产生一个输出的key/va
转载
2023-12-27 20:18:42
68阅读
控制hive任务中的map数通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；举例：假设input目录下有1个文件a,大小为790M,那么hadoop会将该文件a分隔成7个块（6个128
转载
2024-06-10 08:32:09
26阅读
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义 ...
转载
2021-10-05 14:42:00
335阅读
2评论
文章目录一、 Hive入门1.1 什么是Hive1.2 Hive架构原理二、 Hive安装2.1 Hive安装地址2.2 Hive安装部署2.2.1 安装Hive2.2.2 启动并使用Hive2.3 配置Hive元数据存储到MySQL2.3.1 配置元数据到MySQL2.3.2 验证元数据是否配置成功2.3.3 查看MySQL中的元数据2.4 Hive服务部署2.4.1 hiveserver2服
转载
2024-10-18 06:42:05
193阅读
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能
转载
2023-09-20 06:33:39
77阅读
执行hive sql语句的时候非常容易出现return code 1、return code 2、return code 3的情况，我就遇到了很多次，code3在某次意外中得以解决 但是引发了code2 和code1， 有些error莫名其妙的出现又莫名其妙的消失，可它还会带来更多的error。⚠️报错： [2021-10-19 19:45:38] [08S01][2] Error while p
转载
2023-10-13 17:47:31
269阅读
目录综述：MR支持的压缩方式：压缩格式和对应的编码解码器：压缩性能的比较： 压缩参数的配置：Hive中指定Map输出压缩：Hive中指定Reducer输出压缩：综述：Hadoop的数据压缩主要在三个地方：Map数据的输入；Mapper数据的输出；Reduce数据的输出；MR支持的压缩方式：压缩格式工具算法文件扩展名是否可切分DEFLATE无DEFLATE.deflate否Gzipgzip
转载
2024-06-21 16:49:39
43阅读
Hive 知识重点梳理1. Hive数据倾斜原因 key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜（示例如下）解决方法1. hive设置如下hive.map.aggr=true 在map中会做部分聚集操作，效率更高但需要更多的内存。hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR
转载
2024-03-10 22:36:20
378阅读
