包含两个案例1、hive多列操作----行转列2、hive单列操作----使用split切分json数据一、udtf的介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求二、udtf的使用1、使用规则必须继承org.apache.hadoop.hive.ql.udf.generic.
转载
2023-08-29 17:13:27
42阅读
1. with...as语句with 语句，允许hive定义一个sql片段，供整个sql使用，会将这个片段产生的结果集保存在内存中，后续的sql均可以访问这个结果集，作用与视图或临时表类似；with 语句，相当于建立了一张临时虚拟表，但是不会被物理创建，用完即销毁；with 语句，可以将业务接耦，每一个with语句，单独成为一个子模块，最后使用基础表将它们串联起来；这里必须要整体作为一条sql查询
转载
2023-09-12 10:38:29
1000阅读
[本文2700字左右，预计阅读需要15-20分钟，操作预计10-15分钟] 在前面的文章里，我们大致了解了Hive，Hive定义了简单的类SQL查询语言，称为HQL，Hive可以将结构化的数据文件映射为一张数据库表， HQL用起来和SQL非常的类似。我们可以把Hive当成一个“数据库”，它也具备传统数据库的数据单元，数据库(Database)和表(Table)。
下面我们来了
转载
2023-09-21 11:28:56
146阅读
逻辑运算：1. 逻辑与操作: AND语法: A AND B操作类型：boolean说明：如果A和B均为TRUE，则为TRUE；否则为FALSE。如果A为NULL或B为NULL，则为NULL举例：hive> select 1 from lxw_dual where 1=1 and 2=2;1 2. 逻辑或操作: OR语法: A OR B操作类型：boolean说明：如果A为TRUE，
转载
2023-07-14 21:23:15
470阅读
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类和汇总，及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览作为《hive学习笔记》的第二篇，前面咱们了解了基本类型，本篇要学习的是复杂数据类型；复杂数据类型一共有四种：ARRAY：数组MAP：键值对STRUCT：命名字段集合UNIONTYPE：从
转载
2023-12-25 15:04:55
76阅读
[b]Hive的数据类型[/b]
Hive的基本数据类型有：TINYINT，SAMLLINT，INT，BIGINT，BOOLEAN，FLOAT，DOUBLE，STRING，TIMESTAMP(V0.8.0+)和BINARY(V0.8.0+)。
Hive的集合类型有：STRUCT，MAP和ARRAY。
Hive主要有四种数据模型(即表)：[b](
转载
2023-07-12 14:50:07
39阅读
Hive中的replace类似方法
转载
2023-05-30 12:18:08
692阅读
文章目录一、问题现象二、分析思路三、排查验证1、排查范围2、验证数据质量问题3、猜想验证四、得出结论五、未完待续 一、问题现象1、多表关联，其中主表与从表1为：inner join 关系； 2、该 SQL 语句在 MySQL 上能正常执行； 3、在Hive上执行时，则会出现GC overhead limit exceeded 导致无法正常执行；SELECT
字段1
,字
转载
2024-07-30 14:56:48
39阅读
Join大致包括三个要素：Join方式、Join条件以及过滤条件。其中过滤条件也可以通过AND语句放在Join条件中。二、Hive/MR中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。介绍两种join的原理和机制。（1）Common Join：如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Jo
转载
2023-07-12 23:28:20
91阅读
1 Hive系统函数1.1 Hive concat 函数concat 函数在连接字符串的时候，只要其中一个是 NULL，那么将返回 NULLhive> select concat('a','b');
ab
hive> select concat('a','b',null);
NULL1.2 concat_ws 函数 concat_ws函数在连接字符串的时候，只要有一个字符串不是NULL
转载
2023-07-12 23:32:43
214阅读
一、创建表
hive建表的时候默认的分割符是'\001'，若在建表的时候没有指明分隔符，load文件的时候文件的分隔符需要是'\001'；
若文件分隔符不是'001'，程序不会报错，但表查询的结果会全部为'null'；
1、建表的时候指定分隔符：
create table pokes(foo int,bar string) row format delimited fields terminate
转载
2024-06-26 05:32:26
72阅读
•If函数: if•非空查找函数: COALESCE•条件判断函数：CASE• If 函数 : if语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)返回值: T说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull举例
转载
2023-05-22 15:16:52
1514阅读
Hive中常见的高级查询有：group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们就来谈谈group by操作，group by操作表示按照某些字段的值进行分组，有相同的值放到一起，语法样例如下：select col1,col2,count(1),sel_expr(聚合操作)
from tableName
whe
转载
2023-08-29 21:58:03
585阅读
目录1. like的使用详解2.rlike使用详解3. regexp的用法和rlike一样4. 源码分析5. 总结6. 练习1. like的使用详解A like B
//A 是字符串，B是表达式表示能否用B去完全匹配A的内容，换句话说能否用B这个表达式去表示A的全部内容，注意这个和rlike是有区别的。返回的结果是True/False.B只能使用简单匹配符号_和%，”_"表示任
转载
2024-08-14 22:13:41
65阅读
文章目录Hive基本概念一、Hive介绍1、什么是Hive2、Hive的优缺点3、Hive的特点二、Hive架构1、架构图2、基本组成3、Hive与传统数据库对比 Hive基本概念一、Hive介绍1、什么是HiveHive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。Hive是基于Hadoo
转载
2023-07-24 11:00:06
47阅读
hive（一）_基础使用1 设置2 库2.1 创建库2.2 库信息2.3 操作库3 表3.1 创建表3.2 表信息3.3 操作表4 数据5 查询6调优7 其他 1 设置启动hive前会寻址$HIVE_HOME/.hiverc，并限制性设置
hive -i path指定设置路径-- 查看设置
set;
-- 更多信息
set -v;
-- 开启显示字段名称
set hive.cli.print
转载
2023-08-10 02:04:39
258阅读
Hive3.1.2的Beeline执行过程前言由于阿里云DataPhin中台不能识别非DataPhin创建的表，不得已，笔者使用sql Client的beeline方式，实现了导入普通Hive表数据到DataPhin的Hive表：beline -u "jdbc:hive2://Hive的Host:10000/default;principal=hive/一串HOST@realm域" -e "
in
转载
2023-08-04 23:45:37
158阅读
一、概述当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~二、介绍with as 也叫做子查询部分，首先定义一个sql片段，该sql片段会被整个sql语句所用到，为了让sql语句的可读性更高些，作为提供数据的部分，也常常用在union等集合操作中。with as就类
转载
2023-10-12 18:26:13
133阅读
Fetch抓取 hive中的某些查询不必使用MR，例如select * from，在这种情况下，hive可以简单的读取表的存储目录下的文件，然后输出查询结果到控制台。 hive.fetch.task.conversion设置成mre，如下查询方式都不会执行MR程序 hive (default)> set hive.fetch.task.conversion=more; hive (defau
转载
2024-05-30 13:39:12
95阅读
锁屏面试题百日百刷，每个工作日坚持更新面试题。锁屏面试题app、小程序现已上线，官网地址：https://www.demosoftware.cn。已收录了每日更新的面试题的所有内容，还包含特色的解锁屏幕复习面试题、每日编程题目邮件推送等功能。让你在面试中先人一步!接下来的是今日的面试题：1.Hive join查询的时候on和where有什么区别左右关
转载
2023-09-21 08:50:18
105阅读
