# Hive with的用法
Hive 是一个基于 Hadoop 的数据仓库工具，用于对存储在 Hadoop 文件系统中的大数据进行查询和管理。Hive 提供了类似于 SQL 的查询语言，称为 HiveQL，使得用户可以方便地进行数据查询和分析。
在 Hive 中，`with` 子句是一个非常有用的特性，它允许用户定义临时的查询结果，以便在后续的查询中重复使用。这不仅可以提高查询的可读性，还可
原创
2024-07-30 07:30:43
228阅读
关于with cube ，with rollup 和 grouping通过查看sql 2005的帮助文档找到了CUBE 和 ROLLUP 之间的具体区别：CUBE 生成的结果集显示了所选列中值的所有组合的聚合。ROLLUP 生成的结果集显示了所选列中值的某一层次结构的聚合。再看看对grouping的解释： 当行由 CUBE 或 ROLLUP 运算符添加时，该函数将导致附加列的输出值为 1；当行不
字符串的查找，数据开发过程中使用比较频繁。复杂的字符串查找，可以用正则表达式来解决，这个在之前的文章中，也有积累过，但是不是每一次的字符串查找都需要用正则表达式，因为正则表达式的规则还是比较难理解，对于初学者或者是刚开始做数据开发工作的小伙伴来说，还是比较复杂的。今天，记录的这几个，简单易懂且常用的字符串查找函数，供各位小伙伴在数据开发的过程中可以学习使用。一、like1，语法格式：A like
转载
2023-08-18 22:51:14
186阅读
BETWEEN的作用BETWEEN 操作符用于选取介于两个值之间的数据范围内的值。BETWEEN的边界BETWEEN运算符选择给定范围内的值。值可以是数字，文本或日期。BETWEEN运算符是包含性的：包括开始和结束值，等价于>= AND <=BETWEEN的语法SELECT column_name(s) FROM table_name
WHERE column_name BETWEE
转载
2023-12-10 13:07:33
775阅读
1：计算两个时间相差多少天：hive内置函数datediff
例子Demo：datediff('2009-07-28','2009-07-30')=2
2:也可以写自定义函数
package cdel.edu.hive.udf.demo04;
import java.text.ParseException;
impo
转载
2023-11-18 21:14:27
125阅读
hive LZO压缩本文环境介绍：软件版本备注centos6.5hadoop2.7.12.7.*即可hive2.3.6lzo2.10需要独立安装1 lzo压缩1.1 lzo的简介1.1.1 lzo定义LZO 是致力于解压速度的一种数据压缩算法，相比于压缩比它更加追求速度，LZO 是 Lempel-Ziv-Oberhumer 的缩写。
这个算法是无损算法，参考实现程序是线程安全的。 实现它的一个自由
转载
2024-08-21 22:21:40
74阅读
1. order by在hive中order by是进行全局排序的，这也就是说会最后会在一个reduce
中进行统一的排序，所以说使用order by进行全局排序尽量不要对数据量很
大 的表进行全局排序，这样效率会很低，会对进行排序的那一个reduce所在
的节点造成内存压力。
使用order by会受到如下属性的约束：set hive.mapred.mode=nonstrict;
set hiv
转载
2023-12-09 16:15:35
302阅读
全文索引——CONTAINS 语法
我们通常在 WHERE 子句中使用 CONTAINS ，就象这样：SELECT * FROM table_name WHERE CONTAINS(fullText_column,'search contents')。 我们通过例子来学习，假设有表 students，其中的 address 是全文本检索的列。
1. 查询住址在北京的学生
SELECT stud
转载
2023-11-15 19:03:50
125阅读
Hive3.1.2的Beeline执行过程前言由于阿里云DataPhin中台不能识别非DataPhin创建的表，不得已，笔者使用sql Client的beeline方式，实现了导入普通Hive表数据到DataPhin的Hive表：beline -u "jdbc:hive2://Hive的Host:10000/default;principal=hive/一串HOST@realm域" -e "
in
转载
2023-08-04 23:45:37
158阅读
如何编写复杂sql推荐此下网址:
https://cloud.tencent.com/developer/article/1033405
https://zhuanlan.zhihu.com/p/47528345
--Oracle常用函数Hive语法总结1.nvl（【空值处理）如果expr1为NULL，返回值为 expr2，否则返回expr1格式:NVL(expr1,expr2)2.G
转载
2023-11-13 13:09:39
287阅读
Hive中提供了越来越多的分析函数，用于完成负责的统计分析。
今天简单整理一下，以务以后自己快速查询，也给看到的朋友作个参考。
分析函数主要用于实现分组内所有和连续累积的统计。
转载
2023-07-12 09:58:47
91阅读
# 使用Hive中的AND和OR操作符
在Hive中，我们经常需要使用AND和OR操作符来筛选数据或进行复杂的逻辑操作。这两个操作符可以帮助我们快速有效地查询所需的数据，提高数据处理的效率。
## AND操作符
AND操作符用于连接两个或多个条件，只有当所有条件都为真时，才会返回True。在Hive中，AND操作符表示为"AND"。
下面是一个示例，假设我们有一个表格存储了旅行者的信息，包
原创
2024-03-09 05:22:28
150阅读
使用 hiveContext 之前首先要确认以下两点:1 使用的 Spark 是支持 hive 2 Hive 的配置文件 hive-site.xml 已经存在 conf 目录中 前者可以查看 lib 目录下是否存在以 datanucleus 开头的 3 个 JAR 来确定,后者注意是否在 hive-site.xml 里配置了 uris 来访问 Hive Metastore。1. 启动 hiv
# 理解 Hive 中的 get_json_array 函数
在大数据分析中，Apache Hive 是一个非常流行的数据仓库工具，它提供了一个粒度较高的 SQL 查找可能性，可以用来处理 Hadoop 数据。今天，我们将学习如何在 Hive 中使用 `get_json_array` 函数，从 JSON 数据中获取数组。作为一名刚入行的小白，这可能会感觉有些复杂，但我会通过一个简单的流程和示例代
原创
2024-09-25 05:01:18
209阅读
Hive中的`nvl`函数用于处理空值，它可以用来替换空值，以确保数据的完整性。在实际数据分析和ETL过程中，使用这个函数能够显著提高数据处理的准确性。接下来，我们将详细探讨Hive中`nvl`的用法，包括其技术原理、架构分析、性能优化及实例分析。
### 流程图
在深入分析之前，我们可以先了解一下`nvl`函数的使用流程，如下所示：
```mermaid
flowchart TD
# Hive中AS的用法
在Hive中，AS是一种关键字，用于给查询结果中的列或表起别名。AS的使用可以使查询结果更易读，提高代码可读性。本文将介绍AS的用法，并给出一些代码示例。
## AS的基本用法
在Hive中，可以使用AS给查询结果中的列起别名。例如，以下是一个简单的查询：
```sql
SELECT name AS employee_name, age AS employee_a
原创
2023-09-28 05:01:08
547阅读
[size=large][b]Hive 是什么[/b][/size]
[color=red][b]Hive是建立在Hadoop上的数据仓库基础构架。[/b][/color]它提供了一系列的工具，[color=red][b]可以用来进行数据提取转化加载（ETL）[/b][/color]，[color=blue][b]这是一种可以存储、查询和分析存储在 Ha
–hive基本语法10/11– –dbeaver链接hive的办法：如果vscode上面有做端口映射 可以直接使用localhost登录；如果没有做端口映射，需要用主机ip地址登录 –dbeaver链接mysql的办法:先在vscode上面有做端口映射 再根据映射的端口登录即可 show databases; --只会删除元数据（mysql的数据）–删除数据库 加上cascade关键字会做级联删除
转载
2023-08-08 14:26:13
180阅读
如果有一个需求，或者一堆需求，而这一堆需求中频繁的都要使用一个数据集，但是这个数据集在原始数据集中没有，可以通过一些操作在原始数据集中得到，那么该怎么办？
转载
2023-07-12 10:05:23
164阅读
hive函数学习一、关系运算：=、<>、<、>、<=、>=、IS NULL、IS NOT NULL、LIKE、RLIKE、REGEXP 其中：RLIKE 语法: A RLIKE B 操作类型: strings 描述: 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合JAVA正则表达式B的正则语法，则为TRUE；否则为FALSE。 举例： hi
转载
2023-09-08 12:10:14
537阅读
