1、Hive1、not in 后的表字段不能为空，否则无效。create table test0201_1 as select null as id union all select 1 as id;
create table test0201_2 as select 2 as id union all select 1 as id;
select count(1) from test0201_2
转载
2023-10-08 06:49:18
392阅读
Hive 调优总结...持续更新Fetch抓取（Hive可以避免进行MapReduce）本地模式Join 优化关联优化器Map 端 Join 优化（大表 Join 小表）Bucket-MapJoinSort Merge Bucket Join (SMB Join)空key过滤（大表 Join 大表）空key转换（大表 Join 大表）SQL 优化列裁剪分区裁剪GroupByCount(disti
转载
2023-08-30 12:02:20
337阅读
字符串的查找，数据开发过程中使用比较频繁。复杂的字符串查找，可以用正则表达式来解决，这个在之前的文章中，也有积累过，但是不是每一次的字符串查找都需要用正则表达式，因为正则表达式的规则还是比较难理解，对于初学者或者是刚开始做数据开发工作的小伙伴来说，还是比较复杂的。今天，记录的这几个，简单易懂且常用的字符串查找函数，供各位小伙伴在数据开发的过程中可以学习使用。一、like1，语法格式：A like
转载
2023-08-18 22:51:14
186阅读
我们看官网文档中这个地方 我们先创建好数据库，以供练习 使用数据库 我们创建数据表 我们创建分区表，选取的字段不能是表中存在的字段 元数据信息 Formatted信息 那我们加载信息load data local inpath '/data/hivetest/dept.txt' into table de
1 like的使用详解1.1 语法规则格式是A like B,其中A是字符串，B是表达式，表示能否用B去完全匹配A的内容，换句话说能否用B这个表达式去表示A的全部内容，注意这个和rlike是有区别的。返回的结果是True/False.B只能使用简单匹配符号 _和%，”_”表示任意单个字符，字符”%”表示任意数量的字符like的匹配是按字符逐一匹配的，使用B从A的第一个字符开始匹配，所以即使有一个字
转载
2023-08-18 22:49:37
0阅读
使用LIKE运算选择类似的值，选择条件可以包含字符或数字：% 代表零个或多个字符(任意个字符)。_ 代表一个字符RLIKE子句是Hive中这个功能的一个扩展，可以通过Java的正则表达式这个更强大的语言来指定匹配条件查找以2开头薪水的员工信息：hive (default)> select * from emp where sal LIKE '2%';查找第二个数值为2的薪水的员工信息：hiv
转载
2023-06-25 17:01:21
202阅读
目录一、查询函数1.NVL（如果是空值赋默认值）2.like and rlike 2.1.%匹配符与like的灵活使用 2.2. _ 和like 的灵活使用 2.3. _ 、like 、% 三者联合使用 2.4. not A like B 和 A not like B 2.5. r
转载
2024-04-14 12:10:59
383阅读
这种传递参数的方式，再传递到IN里面去实际上SQL是把整个参数当成一个string类型来处理的，所以不管你怎么写都相当于 IN ('ssssssssss.....'),不管里面什么格式。这种情况想达到效果，要不然拼接SQL执行，要不然用charindex
select * from show2003 where CHARINDEX(S
转载
2024-02-05 21:41:20
190阅读
Hive中rlike,like,not like，regexp区别与使用详解1.like的使用详解语法规则: 格式是A like B,其中A是字符串，B是表达式，表示能否用B去完全匹配A的内容，换句话说能否用B这个表达式去表示A的全部内容，注意这个和rlike是有区别的。返回的结果是True/False. B只能使用简单匹配符号 和%，””表示任意单个字符，字符”%”表示任意数量的字符 like的
转载
2023-08-18 22:22:00
120阅读
一、数据准备1. 创建测试表--创建 部门表
create table if not exists dept
(
deptNo int,
deptName string,
loc int
)
row format delimited fields terminated by '\t';
--创建 员工表
create table if not exists emp
(
emp
转载
2024-06-26 12:26:50
78阅读
目录1-like的使用详解1.1-语法规则1.2-操作类型1.3-使用描述1.4-案例演示1.5-注意事项2-rlike比较符使用详解2.1-语法规则2.2-操作类型2.3-使用描述4-NOT A LIKE B 与 A not like B4-关于like与rlike,not like,like not的使用对比总结5-regexp的用法和rlike一样 1-like的使用详解1.1-语法规则格
转载
2023-08-18 22:21:34
727阅读
最近因为开始弄机房重构了，所以开始重新抓起数据库来看了，加上自考也还需要再战一次，所以对于数据库开始多研究了一点点，不过也只是自己以为的多研究了一点点，为啥这么说呢？ 因为这两天突然通知的订餐系统里也涉及到数据库了啊，而且设计的还很多，用到的还比较多。因为我和小伙伴负责的部分是测试，所以首先要做的事就是
在Hive开发过程中遇到这样一个问题：例如表T001的字段col1里面存有’ABC\DEF’这样的数据，在Oracle中，我可以通过下面这样的SQL将其查出：SELECT * FROM T001 WHERE COL1 LIKE ‘ABC\%’;‘\’不会将’%’进行转义，因为没有使用ESCAPE ‘\’ 语法。但是到了Hive里就不行了，SELECT * FROM T001 WHERE COL1
转载
2023-08-18 22:22:42
148阅读
# Hive 中的 NOT LIKE 和 NOT IN 查询的效率优化
在大数据处理领域，Hive 是一个广泛使用的数据仓库工具，能够提供 SQL 类似的查询功能。虽然 Hive 在处理海量数据时表现出色，但某些操作的效率可能不尽如人意。今天，我们主要探讨如何优化 Hive 中的 `NOT LIKE` 和 `NOT IN` 查询，让我们一步一步来了解整个流程。
## 流程概述
我们将通过以下
1. 实例说明Hive数据模型Hive数据模型：Tables 所有数据存储在HDFS中的一个目录 Primitives: numeric, boolean, string and timestamps Complex: Arrays, maps and structsPartitions 表可以按照某个字段的值划分分区 对表格进行分区处理(Partition)，便于局部数据的查询操作，如按时间分区
转载
2023-10-19 10:26:58
187阅读
目录基本查询全表和特定列查询列别名算术运算符比较运算符逻辑运算符常用函数limit语句where语句like和Rlike语句分组group by语句having语句基本查询全表和特定列查询（1）数据准备dept10 ACCOUNTING 1700
20 RESEARCH 1800
30 SALES 1900
40 OPERATIONS 1700emp7369 SMITH CLERK 7902 19
转载
2024-07-20 16:05:24
43阅读
大数据从入门到实战 - Hive基本查询操作（一）一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：where操作2、第2关：group by操作3、第3关：join操作 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！ 一、关于此次实践1、实战简介本实训主要介绍了hive的一些简单基本操作，比如where、group by、join
转载
2023-08-18 22:24:03
105阅读
最近博主在编写一个每天定时创建Hive 分区的脚本，其中需要创建Hive表，开始的时候我以为创建Hive 表的语句顺序是比较宽松的，经过测试发现不然，Hive 创建表需要比较固定的书写顺序虽然暂时不知道这个顺序，可以查阅什么样的文档找到，如果知道的朋友，可以在底下踊跃留言，有红包派送 下面对Hive 建表的格式规范进行讲解 注：hive其他语法在hive
转载
2023-10-31 14:53:16
297阅读
> 数据加载数据准备： 在本地先创建两个txt文件：mahao@ubuntu:~$ cat user.txt
1,zhangsan
2,lisi
3,wangwumahao@ubuntu:~$ cat job.txt
1 工程师 1
2 美工
3 美工 4创建users表hive> CREATE TABLE IF NOT EXISTS users(id INT,
转载
2023-09-09 07:18:54
139阅读
写在开头本章是Hive教程第二部分归纳，着重于DDL命令HQL操作之 — DDL命令DDL（data definition language）： 主要的命令有CREATE、ALTER、DROP等。DDL主要是用在定义、修改数据库对象的结构 或 数据类型。数据库操作Hive有一个默认的数据库default，在操作HQL时，如果不明确的指定要使用哪个库，则使用默认数据库；Hive的数据库
转载
2024-08-14 20:29:02
66阅读
