最近开发自测时，在mybatis写的xml中，写了一条on与where中都有判断条件的sql（判断条件使用<if></if>拼接）。在执行sql中发现一条没有where条件，判断都在on中的sql，导致了错误的查询结果为什么on中的判断条件和where中的判断条件执行效果不同呢？这就涉及到了join以及on的特性。join是用来连接表的， 而on是表之间连接的条件left
# 在Hive中使用LIKE语句进行模糊查询
在Hive中，可以使用LIKE语句进行模糊查询，即根据部分字符串来搜索匹配的结果。这对于需要查找包含特定字符的数据非常有用，特别是在大型数据集中。
## LIKE语句的基本用法
LIKE语句用于在Hive中执行模糊查询。它可以与通配符结合使用，如下所示：
- `%`：表示零个或多个字符
- `_`：表示一个字符
例如，可以使用以下语句查找所有
原创
2024-05-18 07:39:50
221阅读
文章目录声明数据样例案例需求1.统计乘用车辆和商用车辆的数量（即非营运和营运车辆）2.统计山西省2013年每个月的汽车销售数量的比例3.统计买车的男女比例4.统计的车的所有权、型号和类型5.统计不同类型车在一个月（对一段时间：如每个月或每年）的总销售量6.通过不同类型（品牌）车销售情况，来统计发动机型号和燃料种类7.统计五菱每一个月的销售量 声明本数据来自网络，不代表任何意义。数据样例打开集群，
sql语句指定数据库名称是个好习惯;GRANT根据roles,group,or individuals设置权限;CREATE TABLE语句指定数据在文件中如何被分割CREATE TABLE jobs (id INT,title STRING, salary INT, posted TIMESTAMP)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',';也可以
转载
2024-04-10 04:39:51
83阅读
想完成类似这样一个需求：insert overwrite table ... partiton(dt=date_sub('2019-03-13',2))当然这样子是行不通的，partition后面那个括号里是不能用函数的
转载
2021-09-17 17:07:15
107阅读
内部表的操作：一开始就要先打开Hadoop集群，后面所有的操作都是在打开Hadoop集群的前提下进行的：cd /opt/hadoop-3.1.4/sbin
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver
jps首先为了方便，先cd到hive安装路径的lib目录中，或者使用pwd可以查看当前目录
转载
2023-09-27 10:26:55
64阅读
# Hive 中的 INT 数据类型
在 Hive 中，INT 是一种整数数据类型，用于存储整数值。INT 数据类型在 Hive 中非常常见，它可以存储范围在 -2,147,483,648 到 2,147,483,647 之间的整数。在本文中，我们将探讨 Hive 中的 INT 数据类型的详细信息，并提供一些示例来说明其用法。
## INT 数据类型的特点
- INT 数据类型用于存储整数值
原创
2023-12-02 09:32:09
248阅读
Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这 将会消耗很长的时间去执行。 这里跟传统
转载
2023-10-18 22:16:02
255阅读
一般在hive中求同比环比都需要表自关联，其实还有一种更优雅的办法。hive中有个lag函数，正好可以用于求同比环比，不过要求数据比较完整LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）num1即为上个月的值，num2即为12个月之前的值se
转载
2023-06-17 21:35:02
316阅读
# Hive中的collect_list与order by用法探讨
在大数据处理领域，Apache Hive是一个广泛使用的数据仓库工具，它允许用户使用类SQL的查询语言在Hadoop上进行数据分析。Hive提供了多种聚合函数，其中之一就是`collect_list`。那么，`collect_list`函数是否支持在其内部使用`order by`呢？本文将对此进行详细的探讨，并提供相关代码示例，
# Hive 存储过程概述及示例
Apache Hive 是构建在 Hadoop 上的一个数据仓库工具，允许使用类 SQL 的查询语言（即 HiveQL）来查询和管理大量数据。虽然 Hive 的主要功能是查询和分析数据，但通过使用存储过程，我们可以将多个操作组合打包，从而提升效率和简化数据处理流程。
## 存储过程的定义
在Hive中，存储过程是一组预先定义的 SQL 语句的集合，用户可以通
# 了解Hive中的Lag函数
在Hive中，Lag函数可以用来获取前一行或前N行的数据，通常用于分析时间序列数据或做数据对比。在本文中，我们将介绍Hive中Lag函数的用法，并结合代码示例进行说明。
## 什么是Lag函数
在Hive中，Lag函数可以返回指定列的前一行或前N行的数据。这在一些需要比较相邻行数据或者进行时间序列分析时经常会使用到。
## Lag函数的语法
Lag函数的语
原创
2024-05-31 04:16:59
353阅读
# Hive中的Lag函数
在数据处理和分析中，窗口函数是一种重要的技术，用于在数据集中执行聚合和分析操作。Hive作为一种大数据处理框架，也提供了窗口函数的支持。在Hive中，Lag函数是一种常用的窗口函数，可以用于计算前一行或前N行的值。
## 窗口函数简介
窗口函数是一种用于根据特定条件对数据进行分组和排序的函数，它可以在查询中使用。窗口函数配合分析函数一起使用，能够对数据进行更加灵活
原创
2023-08-12 19:24:44
2358阅读
## 如何在Hive中实现MAX里面的NULL处理
作为一名经验丰富的开发者，我将教你如何在Hive中处理MAX函数中的NULL值。首先，让我们了解整个流程，然后逐步指导你完成每一步骤。
### 流程概述
在Hive中，要处理MAX函数中的NULL值，我们需要使用COALESCE函数来替代NULL值。下面是整个流程的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 步骤一
原创
2024-01-29 08:11:32
130阅读
0.背景实际工作当中遇到这样一个问题，数据如下，但是我想通过SQL将数据转换成按列展示的形式，即常用的pivot透视操作。# 原始数据
id item value
1 a 10
2 b 21
1 b 15
2 a 20
# 次级目标格式（SQL）
id itemValue
1 a-10,b-15
2 a-20,b-21
# 目标格式
id item_a i
转载
2023-05-22 14:24:39
331阅读
1：shell中for循环形式一：for varible1 in {1..5}
do
echo "Hello, Welcome $varible1 times "
doneeg：任务是通过创建Hive外部表来处理hdfs上的数据，我的思路是先遍历Hdfs上指定文件夹下的文件，然后add parition到指定hive表中。/cluster/hadoop/bin/hadoop
转载
2024-05-30 10:10:23
67阅读
Hive数据类型一、基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20INTint4byte有符号整数20BIGINTlong8byte有符号整数20BOOLEANboolean布尔类型，true或者falseTRUE FALSEFLOATfloat单精度浮点数3.14159DOUBLEdo
转载
2023-10-04 10:52:27
96阅读
1.Hive表文件的存储格式 通过上述的stored as操作设置表的存储格式 hive文件的存储格式分为以下四种： TEXTFILE,SEQUENCEFILE,RCFILE,ORCFILE 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时直接把数据文件copy到HDFS上不进行处理； SEQUENCEFILE,RCFILE,ORCFILE格式的表不能直接从本地
转载
2023-07-05 23:40:24
636阅读
1、普通创建表CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [
转载
2024-07-30 18:28:32
29阅读
Maven依赖 <!--添加spark对hive的支持的jar包--> <dependency> <groupId>org.apache.spark</groupId>
原创
2022-07-04 17:00:34
56阅读
