DDL操作：增删改数据库表和数据库(hive中ddl操作是可以操作数据库的)DML操作：增删改数据HIVE中特别的字段集合类型：Strutc(first String,last String): 由first 和last 组成一个字段Map(key,value,key,value...)：由key value 组成字段，需要指定哪个是key 哪个是valueArray(value String,v
转载
2024-01-25 22:10:32
51阅读
3.9 表分区3.9.1 表分区概述Hive 分区partition （订单介绍） 必须在表定义时指定对应的partition字段，分区的本质相当于在表的目录下在分目录进行数据的存储。分区好处： 查询时可以通过过滤不需要的分区下的数据，减少查询时的磁盘IO操作。单分区建表语句：create table day_table (id int, content string) partitioned b
转载
2024-01-11 21:54:54
51阅读
在Hive中，HQL（Hive Query Language）是一种类似于SQL的查询语言，用于在Hadoop平台上进行数据分析和查询。在Hive中，我们可以使用循环语句来简化复杂的操作，提高查询效率。本文将介绍如何在Hive中使用for循环，以及如何编写简单的循环示例。
### 什么是Hive中的for循环？
在Hive中，for循环用于重复执行一组语句，直到满足特定条件为止。与其他编程语言
原创
2024-07-02 05:50:53
158阅读
保存select查询结果的几种方式：1、将查询结果保存到一张新的hive表中create table t_tmpasselect * from t_p;2、将查询结果保存到一张已经存在的hive表中insert into table t_tmpselect * from t_p;3、将查询结果保存到指定的文件目录（可以是本地，也可以是hdfs）inse
转载
2022-04-13 11:28:50
204阅读
## 了解Hive HQL中的LIKE语句
在Hive查询语言（HiveQL）中，LIKE是一种用于模糊匹配字符串的操作符。它可以帮助我们在进行数据查询时更加灵活地筛选出符合条件的数据。通过使用通配符，我们可以实现更加精确的匹配操作。
### 什么是LIKE操作符
LIKE操作符用于在查询中指定模式。它与SQL中的通配符一起使用，以便在过滤结果时更加灵活。常见的通配符有两种：
- `%`：
原创
2024-07-14 07:21:36
96阅读
HIVE介绍参考 1、Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 2、Hive 是建立在 Ha
转载
2023-09-01 14:49:08
48阅读
这几天尝试了一下HQL编程，把经验总结在这篇文章里面吧
1.join只支持等值连接，这种t1.pv-t2.pv > 1.0是不支持的，你可以把这个条件写在where子句中
2.尝试写了udf函数，使用eclipse写的，编译之后，我把.class文件直接拿到linux里面用jar cvf udf.jar udf.class命令打包，由于udf.java这个文件里面写了
原创
2011-03-02 19:06:42
362阅读
在这篇博文中，我们将探讨如何将 Java 集成到 Hive HQL 中，以实现对大数据的高效查询和操作。Java 和 Hive 的集成可以通过多种方法实现，下面我们将详细介绍这个过程，分成几个主要部分。
## 环境准备
在开始集成之前，我们需要确保我们的开发环境支持 Java 和 Hive 的相关版本。以下是我们的技术栈兼容性图表和版本兼容性矩阵。
```mermaid
quadrantCh
Hive基础(1)Hive的HQL(2)1. HQL的数据定义，HQL是一种SQL方言，支持绝大部分SQL-92标准。但是和SQL的差异为：不支持行级别的操作，不支持事务等。HQL的语法接近于MySQL。2. Hive的数据库，本质仅仅是个表的目录或者命名空间。一般用数据库将生产表...
转载
2016-04-17 20:50:00
141阅读
2评论
# Hive HQL Delete Update 实现方法
## 简介
在Hive中，我们可以使用Hive SQL（也称为HQL）来执行数据库的删除和更新操作。本文将指导一位刚入行的小白如何实现Hive HQL中的删除和更新操作。我们将按照以下步骤进行说明：
1. 连接到Hive数据库
2. 创建一个新表并插入数据
3. 删除表中的数据
4. 更新表中的数据
## 流程图
以下是整个过程的流
原创
2024-01-04 12:00:01
92阅读
Hive数据源实战Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。 使用HiveCo
转载
2023-07-14 16:03:50
54阅读
datediff函数regexp_replace() substring 函数准备介绍：dateddiff：求两个时间的差值regexp_replace：替换符号to_date：将字符串转换成时间date_sub：求一个时间与数字之间的差值 round：四舍五入floor：向下取整ceil：向上取整 题目：背景说明： 以下表记录了用户每天的蚂蚁森林低碳生活领
转载
2024-05-10 23:13:11
70阅读
hive SQL（HQL）葵花宝典1. 基本数据类型2.基础运算符与函数3. 内置运算符3.1关系运算符3.2算术运算符3.3逻辑运算符3.4复杂类型函数4.类型转换n5.日期函数5.1取年月日时分秒（格式化）5.2获取今天时间(格式可以自定义)5.3计算年龄5.4年月日拼接5.5总结6.条件函数7.常用字符串函数 1. 基本数据类型tinyint , smallint, int, bigint
转载
2023-07-20 21:12:47
68阅读
Hive SQL 几乎是每一位互联网分析师的必备技能，相信每一位面试过大厂的童鞋都有被面试官问到 Hive 优化问题的经历。所以掌握扎实的 HQL 基础尤为重要，既能帮分析师在日常工作中“如鱼得水”提高效率，也能在跳槽时获得一份更好的工作 offer。文中视角多处 HQL 对比 关系型数据库 SQL，适合有一定 SQL 基础的童鞋。一、Hive 介绍
简单来说，Hive 是基于 Hadoop 的一
转载
2024-01-23 21:50:52
25阅读
导语时间飞梭而过，眼看这2018新年伊始，转眼间128大促已经落下帷幕，回顾过去的两周，协助大促监控和业务分析捞数竟然暂用了我大量的工作时间，期间不断的在用Hive SQL进行捞数分析，本着对工作认真负责的态度，对使用的语言做到知其然而知其所以然，最近好好的研究了一把Hive SQL的执行原理，以便写出性能更好的Hive SQL语句。什么是Hive SQL？地球人都知道，我就不说了，直接跳过。。。
转载
2023-08-18 23:00:13
62阅读
简介Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL
转载
2023-07-20 21:41:56
128阅读
文章目录1 准备数据2 取出所有行和列3 限制返回行数4 选取指定的列5 重命名列6 单行注释7 distinct 去重8 group by 去重 select语句是最基本最常用的sql语句，也非常简单。 1 准备数据运行下面代码，在test数据库，新建一个test_zw表，并插入几条测试数据。drop table if exists test.test_zw;
CREATE TABLE if
转载
2023-07-12 09:09:46
113阅读
Map-Reduce简介map-reduce是hadoop中第二个核心，用于对hdfs中的文件做映射-归集处理。map阶段可以将文件中的数据以行的方式读取出来处理成想要的基本数据类型或者自定义数据类型，生成key-value到文件中，reduce阶段拿到已做过分组的key-value(多值)，然后可以对value循环做分组操作。灵活的使用key可以完成非常强大的功能。适合处理离线大批量数据
转载
2024-04-19 13:34:40
73阅读
一、概念：1、结构化和非结构化数据结构化数据：固有的键值对非结构数据：没有固定的键值对，没有明确的映射关系所以就可以理解下面这句话：hive是由facebook开源用于解决海量结构化日志的数据统计项目。2、Hive是基于Hadoop文件系统上的数据仓库架构，它为数据仓库的管理提供了许多功能：数据ETL(抽取、转换和加载)、数据存储管理和大型数据集的查询和分析能力。RDBMS(关系型数据库)OLTP
转载
2023-08-24 22:28:57
87阅读
