目录1. 创建hive表示指定location参数2. DISTRIBUTE BY的使用3. hive中 distribute by 、group by 、order by、sort by、cluster by的比较4. 修改字段类型、添加字段5. hive中rand()函数6. Hive中数据取整函数7. 处理hive中的表，将其中的某些数值字段加上一个随机整数8. 在hiv
转载
2023-08-18 22:41:49
57阅读
文章目录HiveSQL一、HiveSQL与传统SQL的区别二、MapReduce的工作流程基础语法一、基础select（与SQL一样）+分区二、group by三、order by四、执行顺序常用函数一、如何把时间戳转化成日期二、如何计算日期间隔三、条件函数case when（每个条件之间都是相互独立的，没有交集）if函数四、字符串函数（substr）substrget_json_object五
转载
2023-09-08 12:31:14
114阅读
HIve SQL学习笔记最近面试的时候一直听到面试官说Hive SQL，今天刷了一点资料稍微系统的学习一下，在这里做一个小结。首先介绍一下Hive SQL：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。它使得针对Hadoop进行SQL查询成为可能。简单来说，HiveSQL与我们之
转载
2023-07-18 12:32:54
65阅读
背景Hive 有丰富的内置函数，方便数据处理和数据分析。但是有些时候无法满足需求，这时就需要自定义函数（User-Defined Functions , UDF）来扩展 Hive 函数库，实现用户想要的功能。 UDF 开发编写 UDF 函数需要下面两个步骤：继承 org.apache.hadoop.hive.ql.exec.UDF实现 evaluate 函数，这个函数必须要有返回值，不能设置为vo
转载
2023-07-17 22:39:09
111阅读
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。1.1 查询语
转载
2023-09-01 16:20:57
372阅读
# Hive的SQL IN操作符
## 简介
Hive是一个开源的数据仓库基础设施工具，可以方便地进行大规模数据处理和分析。它提供了一种类似于SQL的查询语言，称为HiveQL，用于在Hadoop集群上处理和查询大量结构化和半结构化数据。
在Hive中，SQL的IN操作符用于在一个子查询中检查一个值是否存在于一个给定的列表中。这个操作符可以很方便地进行数据过滤，可以避免使用多个OR条件来检查
原创
2023-12-11 12:26:10
108阅读
# 如何实现Hive SQL的WITH AS
## 一、流程图
```mermaid
journey
title 教学流程
section 步骤
开始 --> 介绍Hive SQL的WITH AS --> 说明每一步的操作 --> 结束
```
## 二、介绍Hive SQL的WITH AS
在Hive SQL中，`WITH AS`语句用于创建一个命名的临时
原创
2024-06-04 07:19:29
102阅读
目录1 hive配置参数查询以及修改2 生产常用基本字段类型3 DDL语法4 DML语法5 hive自带函数详解1 hive配置参数查询以及修改1.1hive日志文件存储目录修改默认hive运行日志配置在HIVE_HOME/conf/hive-log4j.properties.template，配置参数为hive.log.dir=${java.io.tmpdir}/${user.nam
转载
2024-06-28 16:02:29
46阅读
1、Hive简介什么是Hive?Hive是建立在Hadoop文件系统上的数据仓库，它提供了一系列工具，能够对存储在HDFS中的数据进行数据提取、转换和加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。Hive定义简单的类SQL查询语言（即HQL），可以将结构化的数据文件映射为一张数据表，允许熟悉SQL的用户查询数据，允许熟悉MapReduce的开发者开发mappe
转载
2023-09-12 11:45:10
662阅读
目录概述创建分区表查看分区使用SHOW查看分区查看表的所有分区查看部分分区查看分区的扩展信息使用DESCRIBE查看分区修改分区添加字段添加分区修改分区名交换分区修改分区字段的数据类型修改分区的文件格式修改分区的存储位置合并分区中的小文件清理分区DROPTRUNCATE修复分区 概述 默认情况下，一个简单的HQL查询扫描整个表，这对于大表来说查询性能会非常低。通过创建分区解决很好的解决这类问题
转载
2023-09-20 06:20:56
123阅读
目录前言Hive与Mysqlhive到mysqlmysql到hiveHIve与Oracle hive到oracleoracle到hiveHIVE与SQLserver hive到sqlserversqlserver到hive完整代码前言 在
转载
2024-07-08 13:21:31
103阅读
认识 HiveHive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL，使不熟悉 MapRed
转载
2023-10-27 14:41:14
161阅读
一、概述当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~二、介绍with as 也叫做子查询部分，首先定义一个sql片段，该sql片段会被整个sql语句所用到，为了让sql语句的可读性更高些，作为提供数据的部分，也常常用在union等集合操作中。with as就类
转载
2023-10-12 18:26:13
133阅读
在hive的使用中写了不少常用的hql，但在这里更系统的写完sql的基本操作。1、创建表 建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED
转载
2023-12-25 15:00:24
22阅读
一、SparkSQL 概述
1.1 SparkSQL是什么
Spark SQL是Spark用于结构化数据处理的Spark模块。1.2 Hive and SparkSQL 我们之前学习过hive，hive是一个基于had
转载
2023-08-26 20:48:09
142阅读
目录1、数据仓库2、Hive是什么3、HiveQL与SQL的区别4、数据存储格式5、操作客户端6、Hive操作1、建表语句2、加载数据（上传到hive表）1、数据仓库数据仓库中有很多个数据库ETL：对数据的储存、查询和分析存储，在Hadoop中大规模数据的机制。hive定义了简单的类SQL查询语言，HQL也可以处理MapReduce开发者开发的自定义mapper和reducer来处理内建的mapp
转载
2024-05-30 10:44:00
206阅读
我是 @一颗橙子：很多朋友平时处理数据可能更熟悉Excel，提到SQL就想逃避，殊不知SQL在处理大量数据时有Excel无法比拟的优势。而且根据二八定律，其实只需掌握20%SQL的基础内容，就足以胜任80%的常见工作啦。因此，我这里总结出了一份7周快速掌握SQL基础的指南，每周完成一张图里的内容就可以了啦。这份指南的内容都是基于《SQL基础教程》这本书来完成哦~那么我们就开始吧。第1周：SQL入门
转载
2023-09-04 16:19:19
45阅读
(九)Hive的5个面试题目录一、求单月访问次数和总访问次数1、数据说明2、数据准备3、结果需求4、需求分析二、学生课程成绩 1、说明2、需求三、求每一年最大气温的那一天 + 温度四、求学生选课情况 1、说明2、 需求3、解析1、数据说明2、数据准备3、需求4、解析五、求月销售额和总销售额1、数据说明2、数据准备3、需求4、解析正文回到顶部一、求单月访问次数和总访问
转载
2024-08-16 18:26:47
20阅读
文章目录简介开窗函数分析函数分析函数和聚合函数的关系开窗函数与分析函数的关系注意开窗函数两种开窗方式区别开窗函数的窗口大小问题典型问题窗口大小的设置（也叫window子句）分析函数注意（重要，决定了窗口函数的使用场景问题）：sum() avg() max() min()排名函数lag() lead() first_value() last_value()注意事项，易错点 简介sql中有一类函数叫
转载
2023-07-12 21:00:55
88阅读
Hive sql语句必练50题-入门到精通(3) 承接: Hive sql语句必练50题-入门到精通(2)– 36、查询任何一门课程成绩在70分以上的学生姓名、课程名称和分数:select student.s_id,s_name,c_name,s_score from student
join (select sc.* from score sc
转载
2024-06-12 12:39:16
43阅读
