一、Hive介绍 Apache官网给出的logo，一半是Hadoop大象的头，一半是蜜蜂的身体，也是寓意着它是基于Hadoop，哈哈，纯属个人理解，进入正题。数据仓库工具，可以将sql语句转换成MapReduce任务来运行。可以用来数据提取、转化、加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。 Hive定义了简单的类sql查询语言，成为HiveQL，它允许
转载
2023-07-14 23:41:42
101阅读
# HiveSQL常用连接工具实现指南
在数据分析和处理的过程中，HiveSQL是一个十分常用的工具。通过它，我们可以很容易地管理和查询大量数据。今天，我将带你走过实现HiveSQL常用连接工具的整个流程，帮助你理解并实践这一过程。
## 流程概述
下表列出了实现HiveSQL常用连接工具的步骤：
| 步骤 | 描述 |
|
原创
2024-09-11 05:52:41
89阅读
## hivesql血缘管理工具
在数据处理领域中，数据血缘关系管理是一项非常重要的工作。在HiveSQL中，数据表与表之间的血缘关系非常复杂，如果没有一个良好的血缘管理工具，会给数据处理和管理带来很大的困难。因此，我们需要使用一些血缘管理工具来帮助我们更好地理解和管理数据之间的关系。
### 什么是hivesql血缘管理工具？
HiveSQL血缘管理工具是一种用于管理HiveSQL中数据表
原创
2024-06-14 06:06:43
76阅读
文章目录一、系统内置函数二、常用内置函数空字段赋值 NVLCASE WHEN THEN ELSE END多列变一列（列转列）一行变多行（行转行）窗口函数函数介绍按需求查询数据Rank常用日期函数常用取整函数常用字符串操作函数集合操作 UDF: 一进一出 UDAF: 多进一出 UDTF: 一进多出 （“多” 指的是输入数据的行数。）一、系统内置函数查看系统自带的函数show functions;显
转载
2023-08-19 18:28:27
122阅读
编写Apache Hive用户自定义函数（UDF）有两个不同的接口，一个非常简单，另一个...就相对复杂点。如果你的函数读和返回都是基础数据类型（Hadoop&Hive 基本writable类型，如Text,IntWritable,LongWriable,DoubleWritable等等），那么简单的API（org.apache.hadoop.hive.ql.exec.UDF）可以胜任但是
转载
2024-05-11 23:37:18
41阅读
目录HIVEsql复杂用法举例1.保存select查询结果的几种方式：2.行转列,根据主键对某列进行合并3.列转行,将某列数据拆分成多行4.hive实现wordcount5.级联查询实现累积报表(笨办法)6-12均为9.hive 窗口分析函数6.窗口分析函数 sum() over() ：可以实现在窗口中进行逐行累加(简单办法)7.分组排序求topn8.各种打序号方法9.LAG函数&nb
转载
2023-09-26 16:03:06
1684阅读
hiveSQL语法 hivesql lead
转载
2023-05-18 22:34:26
97阅读
我们先来看看这两个函数的语法：lead(col,n,default) over()说明： 用于统计窗口内向下第n行的值参数1： 为要取值的列名参数2： 为向下第n行，默认值为1，这个值是固定的，不能动态的变化参数3： 为默认值，当向下第n行的值为NULL时，取默认值，如果不指定，则默认值为NULLlag(col,n,default) over()说明： 用于统计窗口内向上第n行的值，与lead()
转载
2023-08-18 23:20:31
108阅读
如下是关于如何在HiveSQL中使用“IN”操作符的教程。
## 目录
1. 引言
2. 操作流程
3. 代码实现
1. 创建一个示例表
2. 使用“IN”操作符查询数据
4. 总结
## 1. 引言
在HiveSQL中，使用“IN”操作符可以在一个查询中匹配多个值。它可以与WHERE子句一起使用，以便过滤数据集。本教程将向你展示如何在HiveSQL中使用“IN”操作符。
#
原创
2024-02-11 07:10:29
91阅读
一、sql中的group by 用法解析：Group By语句从英文的字面意义上理解就是“根据(by)一定的规则进行分组(Group)”。作用：通过一定的规则将一个数据集划分成若干个小的区域，然后针对若干个小区域进行数据处理。注意：group by 是先排序后分组！举例说明：如果要用到group by 一般用到的就是“每”这个字， 例如现在有一个这样的需求：查询每个部门有多少人。就要用到分组的技术
转载
2023-08-18 23:19:51
333阅读
目录0-面试题1-答案详细解析1.1-自我介绍1.2-到北京工作的医院1.3-SQL题，给一张城市和交易额表，一张城市对应省份表， 取出 省份 总 交易额大于 500 的 省份 的名字1.4-SQL题，基于刚才， 得出 省份 总 交易额 [0,500 ] , [500,1000 ] , [1000,+oo ] 在以下三个区间的 省份 的 数量1.5-SQL题，还是基于刚才， 按从小到大的顺序得出
转载
2023-07-20 19:11:08
113阅读
同事总结的hive sql 优化 Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。 使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别， 所以需要去掉原有关系型数据库下开发的一些固有思维。 基本原则： 1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select ...
转载
2024-06-11 13:23:59
44阅读
谨记：union all 只检查前后表的字段类型在顺序上一致，不会检查别称是否一致 愚蠢的处理：昨天，重另一个哥们接过一段SQL（SQL篇幅很大），需要在一天内将该段SQL的逻辑移植更换我现有的简单处理，草草看过SQL，然后干别的事情去了。半天后，稍稍整理了一下那段SQL，发现通过抽层，可以很好的把这段SQL嵌入到我现有的代码，SQL改动不大。一顿修改，很快可以执行成功了。于是，简单的补
转载
2023-06-30 10:54:11
99阅读
首先，hive本身有一个UDF，名字是datediff。我们来看一下这个日期差计算的官方描述，（下面这个是怎么出来的）：hive> desc function extended datediff;
OK
datediff(date1, date2) - Returns the number of days between date1 and date2
date1 and date2 are
转载
2015-03-11 21:40:00
183阅读
1.使用multi-table-insert写法对union all进行优化（1）原SQL（目标是往一个新表user_new里，插入最大值和最小值的数据）insert into table user_new
select sex, max(age) as stat, 'max' as class
from user
group by sex
union all
select sex, min(ag
转载
2023-08-21 09:20:43
205阅读
1、数据查询//提高聚合的性能SET hive.map.aggr=true;SELECT count(*),avg(salary) FROM employees;//木匾不允许在一个查询语句中使用多于一个的函数（DISTINCT。。。）表达式SELECT count(DISTINCT symbol) FROM stocks; 表生成函数：explode(APPAY array) 返回0
转载
2024-08-19 03:05:15
116阅读
一、Hive-sql 常用优化MapReduce 流程：Input->split->map->buffer(此处调整其大小)->spill->spill过多合并->merge->combine(减少reduce压力)->shuffle(copy、merge)->spill->disk->reduce->Output1.1、常用
转载
2023-08-08 12:33:56
112阅读
## 科普文章：HiveSQL模糊查询
### 引言
在数据分析和处理的过程中，我们经常需要进行模糊查询以找出符合特定条件的数据。在关系型数据库中，HiveSQL是一种常用的查询语言。本文将介绍HiveSQL中的模糊查询功能，并提供代码示例进行说明。
### HiveSQL简介
HiveSQL是基于Apache Hive的SQL查询语言，它可以用于查询和分析大规模的结构化数据。HiveSQ
原创
2023-10-26 06:53:29
56阅读
# Hive SQL Stuff 教程
作为一名经验丰富的开发者，我很高兴能为你提供一份详细的“Hive SQL Stuff”教程。Hive 是一个基于 Hadoop 的数据仓库工具，它允许我们使用类似 SQL 的语言（称为 HiveQL）来查询和分析存储在 Hadoop 上的大数据。
## 步骤流程
首先，让我们通过一个表格来了解整个 Hive SQL Stuff 的流程：
| 步骤 |
原创
2024-07-30 07:24:06
24阅读
## 如何实现“hivesql改名”
### 流程图
```mermaid
flowchart TD
A(登录Hive) --> B(创建外部表)
B --> C(修改表名)
C --> D(删除原表)
```
### 步骤
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 登录Hive |
| 2 | 创建外部表 |
| 3 | 修改表名 |
|
原创
2024-05-13 07:02:53
27阅读
