# 实现Hive的SET函数
## 概述
在Hive中，SET函数用于设置或修改Hive的配置参数。本文将指导你如何使用SET函数来配置Hive参数。
## 流程图
```mermaid
graph LR
A[开始] --> B(设置Hive参数)
B --> C(验证参数)
C --> D(保存参数)
D --> E(结束)
```
## 步骤说明
**设置Hive参数**：根据需求，
原创
2023-12-04 10:03:58
78阅读
一、关于join中 出现数据倾斜的操作 这里我们需要设置两个参数： 1.1、hive.optimize.skewjoin = true； 如果join 中出现了数据倾斜， 应该设置成true。 1.2、set hive.skewjoin.key = 1000000； 这是join 的键对应的记录条数超过这个值则会进行
转载
2023-08-21 18:05:37
860阅读
分区表set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
create table test.test28_partition(id string, name string)
PARTITIONED BY (inc_day string)
STORED AS PARQUET
l
1、在工作中都用到了此函数，特此学习并记录一下.2、coalesce 用途：1、将空值替换成其他值； 2、返回第一个非空值3、SQL实例一select coalesce(success_cnt, 1) from tableA当success_cnt 为null值的时候，将返回1，否则将返回success_cnt的真实值。select coalesce(success_cnt,period,1) f
转载
2023-08-12 15:24:06
685阅读
1、原始表select zheng_shi_indicator,guo_biao_di_yu_dai_ma,areas,years from test.test_formal_edu 2、需求结果格式：第一列：正式指标 第二列：该指标下的所有地区名称,按照国标地域代码升序排序，按照";"进行分割，且该字段不为空时，末尾追加";"。第三列：该指标下所有的年份,按字母
转载
2023-05-22 10:55:04
1291阅读
在Hive的开窗函数实战的文章中，主要介绍了Hive的分析函数的基本使用。本文是这篇文章的延续，涵盖了Hive所有的条件函数和日期函数，对于每个函数，本文都给出了具体的解释和使用案例，方便在工作中查阅。条件函数assert_true(BOOLEAN condition)解释如果condition不为true，则抛出异常，否则返回null使用案例select assert_true(1<2)
转载
2023-08-13 10:09:24
165阅读
假设我有一个看起来像这样的蜂巢表：ID event order_num
------------------------
A red 2
A blue 1
A yellow 3
B yellow 2
B green 1
... 我正在尝试使用 collect_lis
转载
2023-05-23 11:44:47
823阅读
DDL 操作建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comm
转载
2024-01-12 22:49:36
54阅读
# 如何在 Hive 使用 FIND_IN_SET 函数
## 整体流程
首先，我们需要创建一个测试表，然后对该表进行数据插入，最后使用 FIND_IN_SET 函数查询数据。
## 步骤
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建一个测试表 |
| 2 | 插入数据 |
| 3 | 使用 FIND_IN_SET 函数查询数据 |
### 步骤一：创建测试表
原创
2024-06-01 05:04:07
535阅读
1.数据准备原始数据 创建dept.txt文件，并赋值如下内容，上传HDFS。部门编号 部门名称 部门位置id
10 行政部 1700
20 财务部 1800
30 教学部 1900
40 销售部 1700创建emp.txt文件，并赋值如下内容，上传HDFS。员工编号 姓名 岗位 薪资 部门
7369 张三 研发 800.00 30
7499 李四 财务 1600.00 20
7521 王
转载
2024-09-30 14:26:51
87阅读
hive（一）_基础使用1 设置2 库2.1 创建库2.2 库信息2.3 操作库3 表3.1 创建表3.2 表信息3.3 操作表4 数据5 查询6调优7 其他 1 设置启动hive前会寻址$HIVE_HOME/.hiverc，并限制性设置
hive -i path指定设置路径-- 查看设置
set;
-- 更多信息
set -v;
-- 开启显示字段名称
set hive.cli.print
转载
2023-08-10 02:04:39
258阅读
Hive on Tez 的安装配置 文章目录Hive on Tez 的安装配置0. 写在前面1. 起源2. Tez概述3. 安装部署4. 解决日志Jar包冲突 0. 写在前面Hadoop：Hadoop-2.9.2Hive：Hive-2.3.7Tez：Tez-0.9.01. 起源Hortonworks在2014年左右发布了Stinger Initiative，并进行社区分享，为的是让Hive支持更多
转载
2023-11-27 10:15:13
66阅读
SESSION级别： set param_cd=param_value; &n
转载
2023-07-05 17:54:14
303阅读
# Hive collect_set函数是否包含
## 引言
在大数据领域中，数据处理是一个非常重要的环节。而Hive是一个常用的数据仓库工具，用于处理和分析大规模数据集。在Hive中，collect_set函数是一个非常常用的函数，用于返回一个集合，其中包含给定列的所有不同的值。然而，对于初学者来说，collect_set函数的用法和功能可能并不清楚。本文将详细介绍Hive的collect_
原创
2024-01-16 09:33:18
401阅读
# 实现Hive中collect_set开窗函数
## 流程图
```mermaid
flowchart TD
A(创建临时表) --> B(使用窗口函数汇总数据)
B --> C(使用collect_set函数)
```
## 表格步骤
| 步骤 | 说明 |
| ------------- | -
原创
2024-06-03 06:01:40
488阅读
WinCE下的注册表可以分为两种，一种是RAM based，另外一种是HIVE based了.这要根据你在PB里添加的是哪种配置. 用PB向导新建的WinCE工程文件默认会用RAM based. Hive 注册表可以实现掉电不丢失数据.那它是如何实现这种机制的呢. RAM based 注册表因为是把信息保存在内存中的，所以掉电之后信息会丢失(现在有很多消费电子类产品用后备电池在主电源切断后继续给内
调优 Hive提供三种可以改变环境变量的方法，分别是：（1）修改${HIVE_HOME}/conf/hive-site.xml配置文件； 所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xml文件，放在${HIVE_H
转载
2024-02-04 23:24:25
59阅读
目录一、Set接口及常用方法1.Set接口的基本介绍2.Set接口的常用方法3.Set接口的遍历方式二、Set接口的实现类-HashSet1.HashSet的全面说明2.HashSet不能加入相同数据的真正含义3.分析HashSet的扩容和转成红黑树机制三、接口的实现类-LinkedHashSet1.LinkedHashSet的全面说明2.LinkedHashSet的底层机制说明四、TreeSe
转载
2023-09-05 22:35:05
44阅读
1、在低版本的hive中，只有两种计算引擎【mr, tez】！！！ 2、在高版本的hive中，有三种计算引擎【mr, spark, tez】！！！切换引擎 1）配置mapreduce计算引擎set hive.execution.engine=mr;2）配置spark计算引擎set hive.execution.engine=spark;3）配置tez 计算引擎set hive.execution.
转载
2023-05-30 17:25:05
402阅读
# 学习如何在Hive中使用SET命令
Hive是一个基于Hadoop的数据仓库工具，它使得对大量数据的查询和分析变得更加容易。对于刚入行的小白来说，理解Hive的基本操作是非常重要的。本文将以“SET”命令为例，帮助你掌握在Hive中设置配置参数的流程。
## 流程概述
首先，我们来看看在Hive中使用SET命令的基本步骤。以下是一个流程表，描述了整个流程。
| 步骤编号 | 步骤
原创
2024-10-15 06:48:11
54阅读
