0. Hive的语句执行顺序from -> on -> join -> where -> group by -> having -> select -> distinct -> order -> limitHive函数大致可以分为三类：UDF（用户自定义函数）、UDAF（用户自定义聚合函数）、UDTF（用户自定义表生成函数）。UDF（user-
转载
2023-07-20 22:34:16
73阅读
hive当中也带有很多的窗口函数以及分析函数，主要用于以下这些场景（1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询1、创建hive表并加载数据创建表 hive (hive_explode)> create table order_detail(
user_
汝之观览，吾之幸也！本文主要讲解Hive的基本概念与架构，学习了Hadoop知道了MapReduce，那么在实际运用中如果慢慢写MapReduce程序也是可以的，但是太麻烦了，也比较费时间，所以大佬们就开始用其他方式代替了，基本的SQL大家都会的，那么大佬设计出Hive，通过Hive的HQL转换为MapReduce,这样就省去写MapReduce的步骤了。Hive官网一、什么是Hive Hive：
转载
2023-10-05 19:13:08
98阅读
# 如何解决“sqoop 导入 hive reduce 任务卡住”问题
## 1. 流程概述
首先让我们来看一下整个流程，以便更好地理解如何解决这个问题。下面是一个简要的流程表格：
| 步骤 | 操作 |
| --- | --- |
| 步骤一 | 使用 Sqoop 将数据从关系型数据库导入到 HDFS |
| 步骤二 | 使用 Hive 将数据从 HDFS 导入到 Hive 表中 |
|
原创
2024-03-30 04:59:21
115阅读
调优手段
（1）利用列裁剪
当待查询的表字段较多时，选取需要使用的字段进行查询，避免直接select *出大表的所有字段，以免当使用Beeline查询时控制台输出缓冲区被大数据量撑爆。
（2）JOIN避免笛卡尔积
JOIN场景应严格避免出现笛卡尔积的情况。参与笛卡尔积JOIN的两个表，交叉关联后的数据条数是两个原表记录数之积，对于JOIN后还有聚合的场景而言，会导致reduce端处理的数据
转载
2024-01-26 21:09:11
89阅读
Hive 卡在map = 0%, reduce = 0%阶段解决：增加map个数，设置mapreduce.input.fileinputformat.split.maxsize 小于系统默认值，需要综合考虑调用更多map时候的消耗定位时发现任务卡在map = 0%, reduce = 0%阶段，而且发现map分配数量很少，所以猜测分配map较慢，增加map数量可解决问题。...
原创
2021-08-10 11:05:57
1469阅读
加map数量可解决问题。...
原创
2022-02-13 14:02:01
1664阅读
1. 基础知识Hadoop实现了一个特殊的计算模型，即MapReduceMapReduce可以将计算任务分割成多个处理单元然后分散到一群家用的或服务器级别的硬件机器上，从而降低成本并提供水平可伸缩性MapReduce模型下，是一个成为Hadoop分布式文件系统（HDFS）的分布式文件系统Hive提供一个称为Hive查询语言（HiveQL或HQL）的SQL方言，用来查询Hadoop集群中的数据Hiv
转载
2023-09-04 11:06:11
7阅读
1.数据倾斜是什么？由于数据分布不均匀，造成数据大量集中到一台或者多台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。产生数据倾斜，有什么表现？在使用Hive算数据的时候，reduce阶段卡在99.99%，不能结束。查看日志或者监控界面，会发现：有一个或多个reduce卡住
各种container报错OOM
读写的数据量极大，至少远远超过其他正常的reduce
伴随着数据
转载
2024-04-04 11:31:39
109阅读
reduce_sum( ) 是求和函数，在 tensorflow 里面，计算的都是 tensor，可以通过调整 axis =0,1 的维度来控制求和维度。
原创
2021-08-13 09:50:25
929阅读
reduce_sum() 用于计算张量tensor沿着某一维度的和，可以在求和后降维。 tf.reduce_sum( input_tensor, axis=None, keepdims=None, name=None, reduction_indices=None, keep_dims=None) ...
转载
2021-08-18 11:08:00
492阅读
2评论
1.12 约简操作reduce方法是一种用于从流中计算某个值的通用机制，其最简单的形式将接受一个二元函数，并从前两个元素开始持续应用它。如果该函数是求和函数，那么就很容易解释这种机制：在上面的情况中，reduce方法会计算v0+v1+v2+…，其中vi是流中的元素。如果流为空，那么该方法会返回一个Optional，因为没有任何有效的结果。注意：在上面的情况中，可以写成reduce(Integer:
转载
2024-02-03 17:34:42
133阅读
小文件是如何产生的：动态分区插入数据的时候，会产生大量的小文件，从而导致map数量的暴增数据源本身就包含有大量的小文件reduce个数越多，生成的小文件也越多小文件的危害：从HIVE角度来看的话呢，小文件越多，map的个数也会越多，每一个map都会开启一个JVM虚拟机，每个虚拟机都要创建任务，执行任务，这些流程都会造成大量的资源浪费，严重影响性能在HDFS中，每个小文件约占150byte，如果小文
转载
2023-09-01 09:35:47
56阅读
OSPF（开放最短路径优先）是一个动态路由协议，常用于互联网设备间的路由选择。在网络中，环路是一种非常不利的情况，因为会导致数据包无休止地在网络中循环，最终导致网络拥塞和性能下降。那么，关于OSPF会产生环路的问题，我们来进行分析和讨论。
首先，要了解什么是环路。在网络中，环路指的是数据包在源设备和目标设备之间无限循环的情况。当一台设备收到一个数据包时，它会检查数据包的目的地址，并根据自己的路由
原创
2024-02-04 11:37:34
65阅读
在使用hive过程中遇到这样的一个异常： FAILED: ParseException line 1:18 Failed to recognize predicate 'a'. Failed rule: 'kwInner' in join type specifier 执行的hql语句如下： [root@javachen.com ~]# hive -e 'select a.* from t
转载
2023-09-21 08:37:45
82阅读
一、 控制hive任务中的map数:1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例：a) 假设input目录下有1个文件a,大小为780M,那
转载
2017-02-20 13:02:00
110阅读
2评论
# 如何解决Hive大量的reduce会造成内存溢出的问题
## 1. 理解问题
在Hive中，当进行大量reduce操作时，可能会导致内存溢出的问题。这是因为reduce任务需要在内存中保存大量的中间结果数据，如果数据量过大，就会导致内存不足。
## 2. 解决方法
### 2.1 增加reduce任务数量
通过增加reduce任务数量，可以减少每个reduce任务需要处理的数据量，从而减轻
原创
2024-03-22 06:32:45
289阅读
想了解Hadoop整体结构及各框架角色建议飞入这篇文章，写的很好：http://www.open-open.com/lib/view/open1385685943484.html 。以下文章是本人参考各牛人文章总结出，主要是Hive的使用。参考自：http://www.blogjava.net/hengheng123456789/archive/2011/01/05/342354.htm
转载
2024-10-12 13:14:33
20阅读
hive使用技巧（四）——巧用MapJoin解决数据倾斜问题 (小表join大表时)Hive学习（5）hive任务执行进度卡在99%原因及解决distribute by rand()的解决方案hive优化：大表关联数据倾斜问题_三米阳光的博客-CSDN博客_hive关联数据倾斜对于group by或distinct，设定 hive.groupby.skewindata=true
转载
2023-07-14 16:07:29
366阅读
1、什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在YARN上Hive就相当于是一个客户端程序，处理的数据来自于HDFS，
转载
2023-07-14 11:13:22
63阅读
