目前，Hive 底层使用 MapReduce 作为实际计算框架，SQL 的交互方式隐藏了大部分 MapReduce 的细节。这种细节的隐藏在带来便利性的同时，也对计算作业的调优带来了一定的难度。未经优化的 SQL 语句转化后的 MapReduce 作业，运行效率可能大大低于用户的预期。本文我们就来分析一个简单语句的优化过程。日常统计场景中，我们经常会对一段时期内的字段进行去重并统计数量，SQL 语
转载
2023-10-12 18:06:57
109阅读
文章目录1.创建DataBase2.查看DataBase相关信息3.删除DataBase4.Hive表操作4.1 创建一个名为cat的表，有两个字段，cat_id,cat_name类型为string4.2 创建一个外部表cat2，有两个字段，cat_id,cat_name类型为string4.3 修改cat表结构，对cat添加group_id和cat_code4.4 将cat2改名为cat3，然
转载
2023-07-14 11:17:32
120阅读
Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。INSERT OVERWRITE TABLE employees
PARTITION (country = '中国', s
转载
2024-05-30 09:41:50
22阅读
为了完成本关任务，你需要掌握：1. 单表插入，2. 多表插入。通过使用查询子句从其他表中获得查询结果，然后使用INSERT命令把数据插入到Hive新表中（Hive会根据MapReduce中的reduce任务个数在HDFS上的hive新表目录下创建相应的数据文件000000_0，若有多个reduce任务，依次以000001_0、000002_0、…… 类推）。该操作包括表单插入（一次性向一个hive
转载
2023-09-20 06:24:24
72阅读
内容目录查询（重点）基本查询1、全表查询和特定列查询2、列别名3、算术运算符4、常用函数5、limit语句6、where语句7、比较运算符（Between/In/ Is Null）8、Like和RLike9、逻辑运算符（And/Or/Not） 查询（重点）查询的基本语法SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table
转载
2023-08-18 22:35:09
127阅读
# Hive Select详解
Hive是基于Hadoop的数据仓库工具，它提供了类SQL的查询功能，称为HiveQL。HiveQL的核心组件是SELECT语句，它用于从Hive表中检索数据。本文将深入探讨Hive Select语句的使用方法，以及一些常见的用法和示例。
## 基本语法
Hive的SELECT语句的基本语法如下：
```sql
SELECT [ALL | DISTINCT]
原创
2023-08-02 06:37:45
291阅读
一、查询语句基本语法1.1SQL查询语句的基本结构select selection_list # 查询的列
from table # 要查询的表
join on # 连接的表
where # 查询条件
group by # 分组查询
having # 分组条件过滤
order by # 字段排序
sort by # 结果排序
limit # 限制结果数
union/union all
转载
2023-07-12 21:49:35
180阅读
Hive 进阶篇1. CTE与CTAS 语法1.1 CTE语句1.2 CTAS语句2. join 连接2.0 表的创建2.1 内连接2.2 左右连接2.3 全外连接2.4 左半开连接2.5 交叉连接2.6 Hive join 使用注意事项3. Hive函数 以及 Linux终端执行3.1 终端执行Hive sql语句3.2 Hive 内置函数3.3 Hive 自定义函数4. Hive 函数高阶4
转载
2023-10-06 21:49:25
161阅读
# Hive 中使用 SELECT IN 的完全指南
在大数据处理领域，Apache Hive 是一款流行的数据仓库软件，使得通过 SQL 查询大规模的分布式数据变得十分便利。Hive 使用 HQL（Hive Query Language）作为查询语言，用户可以使用它进行各种复杂的数据查询和计算。今天，我们将关注 Hive 中的 SELECT IN 子句，以及如何在实际应用中有效使用它。
##
文章目录1 准备数据2 取出所有行和列3 限制返回行数4 选取指定的列5 重命名列6 单行注释7 distinct 去重8 group by 去重 select语句是最基本最常用的sql语句，也非常简单。 1 准备数据运行下面代码，在test数据库，新建一个test_zw表，并插入几条测试数据。drop table if exists test.test_zw;
CREATE TABLE if
转载
2023-07-12 09:09:46
113阅读
Hive Select 查询数据基本查询（Select…From）全表和特定列查询列别名算术运算符常用函数Limit语句Where语句比较运算符（Between / In / Is Null）Like 和 RLike逻辑运算符（And/Or/Not）分组Group By 语句Having语句Join语句等值 Join表的别名内连接左外连接右外连接满外连接多表连接笛卡尔积排序全局排序（Order
转载
2023-07-14 22:51:33
242阅读
条件限制select into_从零开始学习大数据系列(五十九)Hive的SELECT查询
转载
2023-06-21 20:17:44
242阅读
Hive_二Hive调优Fetch 抓取本地模式表的优化大表，小表join大表Join大表空key转换小表JOIN大表（MapJoin）Group by统计去重笛卡尔积行列过滤动态分区调整JVM重用Hive实战之谷粒影音统计视频观看数Top10统计视频类别热度Top10统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数统计视频观看数Top50所关联视频的所属类别排序统计每
转载
2023-07-14 11:17:08
162阅读
例子：班级表classes.txt，学生表students.txt，两个表文件数据如下：classes：1,班级1
2,班级2
3,班级3student：11,1,张三
12,1,李四
13,1,王五
21,2,Tom
22,2,Gerry
23,2,Simon
24,2,Jim
91,\N,Jeffrey
92,\N,Leo
93,\N,even
94,\N,aaron
95,\N,addiso
转载
2023-06-28 15:50:57
138阅读
使用hive时，我们偶尔会遇到这样的问题，当你将结果输出到屏幕时，查出的数据往往显示为null，但是当你将结果输出到文本时，却显示为空（即未填充），这是为什么呢？在hive中有一种假NULL，它看起来和NULL一样，但是实际却不是NULL。比如下面这样：[hdfs@dsdc04 ~]$ cat /data6/chenye/baidu_djzs_sessionid/test\NNULLKrisnul
转载
2023-07-20 22:13:35
47阅读
yarn-site.xml配置错误 yarn.nodemanager.aux-services 中的-原先配置为_ 导致错误。。。。。。
转载
2023-06-27 22:05:29
65阅读
CASE函数的类型CASE具有两种格式，简单CASE函数和CASE搜索函数。这两种方式，大部分情况下可以实现相同的功能。简单CASE函数语法
CASE column
WHEN <condition> THEN value WHEN <condition> THEN value ...... ELSE value END 示例 CAS
转载
2023-11-15 19:52:34
38阅读
## Hive Select 很慢的原因及解决方案
### 引言
在使用Hive进行数据查询时，我们可能会遇到查询速度很慢的情况，特别是在处理大数据量的情况下。本文将探讨Hive查询变慢的原因，并提供一些解决方案来提高查询效率。
### 1. Hive查询性能问题的原因
在理解Hive查询性能问题之前，我们需要了解Hive的基本架构。Hive是基于Hadoop的数据仓库基础设施，用于处理大
原创
2023-10-06 16:18:07
288阅读
# Hive SQL 中的 IF 语句实现指南
Hive 是流行的数仓解决方案，允许使用 SQL 查询大数据，其中 `IF` 语句是使用条件逻辑的一种有效工具。今天，我们将一起学习如何在 Hive SQL 中使用 `SELECT IF` 我们将一步步为你解析整个流程，代码的结构和逻辑，并确保即使是小白也能理解。
## 整体流程
在使用 Hive SQL 中的 `IF` 语句之前，我们需要了解
原创
2024-08-06 06:25:39
50阅读
# Hive中的SELECT AS别名使用解析
在大数据处理过程中，Apache Hive是一种广泛使用的数据仓库工具，它通过HQL（Hive Query Language）提供了一种类似于SQL的查询语言。理解如何在Hive中使用`SELECT AS`来创建别名，是有效编写Hive查询的重要组成部分。本文将为您详细介绍Hive中的`SELECT AS`别名的使用，并通过示例及可视化工具帮助您更
原创
2024-08-09 09:50:38
106阅读
