细节：sql 中有涉及到正则匹配函数的，要注意转义符号 因为在不同语言下正则匹配规则是否需要加转义符号是不同的，举例，regexp_replace 函数，在hive sql的正则匹配规则的 \d+ 需要前面给它加上转义符号\，而在java中可能不用，在Presto sql 就是不用加转义符号\的。
原创
2023-03-05 09:28:31
303阅读
???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内
原创
2024-04-17 09:56:20
53阅读
昨天的推文中介绍了几个常用的hive查询函数，今天在整理工作中写的SQL，又发现几个比较常用到的函数，这里分享给大家get_json_object()get_json_object(STRING json_string, STRING path)使用场景：一般用于对APP进行埋点后，埋点所带的参数以js
转载
2024-05-31 11:35:32
18阅读
1.获取当前日期 如2020-13-22current_date() 或者current_date获取当前时间：from_unixtime(unix_timestamp()) -->返回格式：yyyy-MM-dd HH:mm:ss ：current_timestamp() -->返回格式：yyyy-MM-dd HH:mm:ss.xxx2.时间
转载
2021-04-29 14:43:35
881阅读
2评论
1.hive分组去重函数使用。select *,row_num() over(partition by id order by modifytime desc) rn from lyjtest where rn=1; row_num() over函数对id做分区根据修改时间做降序，然后筛选出时间最新的一条（rn=1）的数据，达到去重的效果。2.hive 写入数据 insert into ta
转载
2021-03-16 20:50:22
586阅读
2评论
Hive提供了很多的函数，可以在命令行下show functions罗列所有的函数，你会发现这些函数名与mysql的很相近，绝大多数相同的，可通过describe function functionName 查看函数使用方法。 hive支持的数据类型很简单就INT(4 byte integer),B
转载
2016-07-08 16:23:00
125阅读
2评论
Hive SQL常用的函数总结
原创
精选
2023-05-05 12:56:52
399阅读
点赞
一、hive函数1、关系函数2、日期函数3、条件函数4、字符串函数5、统计函数二、hiveQL1、DDL2、DML三、其它1、in()函数2、lateral view 函数3、row_number() 和rank()4、grouping sets()函数一、hive函数1、关系函数等值比较: =语法：A=B。如果表达式A与表达式B相等，则为TRUE；否则为FALSE不等值比较: <>语
转载
2023-07-12 21:23:41
348阅读
旨在对hive sql整体总结记录 todo 总结 一、hive 的不同种类的joinHive中除了支持和传统数据库中一样的内关联、左关联、右关联、全关联，union 支持LEFT SEMI JOIN和CROSS JOIN，但这两种JOIN类型也可以用前面的代替注意：Hive中Join的关联键必须在ON ()中指定，不能在Where中指定，否则就会先做笛卡尔积，再过滤。数据准备： 表一 、hive
转载
2023-08-18 22:59:37
60阅读
文章目录hive常用交互命令`-e`执行sql`-f`执行脚本中sql语句hive cli命令行窗口操作hdfs查看hive中输入的所有历史命令库创建库查看库使用库修改库删除库表查看表创建表语法管理表和外部表示例修改表删除表分区表概念操作分区表和数据产生关联方式一：上传数据后修复方式二：上传数据后添加分区方式三：创建文件夹后load数据到分区DML数据操作数据导入向表中导入数据(load dat
原创
2023-05-08 15:42:37
509阅读
点赞
库创建库CREATE DATABASE IF NOT EXISTS db01;查看库SHOW DATABASES;使用库USE db01;删除库DROP DATABASE db01;表查看表SHOW TABLES;创建分区表CREF NO
原创
2023-05-08 15:42:36
304阅读
#count查询 SELECT COUNT(*) FROM default.test_2 WHERE ds="2021-08-11"; #插入数据 insert into table default.test_2 partition(ds="{{ds}}") select "xiaoming1"," ...
转载
2021-08-18 19:53:00
107阅读
2评论
目录1. 创建hive表示指定location参数2. DISTRIBUTE BY的使用3. hive中 distribute by 、group by 、order by、sort by、cluster by的比较4. 修改字段类型、添加字段5. hive中rand()函数6. Hive中数据取整函数7. 处理hive中的表，将其中的某些数值字段加上一个随机整数8. 在hiv
转载
2023-08-18 22:41:49
57阅读
目录1.查看数据库2.进入数据库3.查看表4.删除表5.删除数据库6.创建数据库7.创建分区表8.加载数据9.查询表所有10.查看表结构11.启动MySQL：12.创建表：13.查看MySQL启动状态14.添加分区15.复制表结构16.查看非当前使用的数据库有哪些表17.查看数据库中以xxx开头的表18.查看分区信息19.查看表的详细建表语句20.修改表名21.DQL顺序22.展示数据库 fm_d
转载
2023-05-22 11:43:31
36阅读
文章目录HiveSQL一、HiveSQL与传统SQL的区别二、MapReduce的工作流程基础语法一、基础select（与SQL一样）+分区二、group by三、order by四、执行顺序常用函数一、如何把时间戳转化成日期二、如何计算日期间隔三、条件函数case when（每个条件之间都是相互独立的，没有交集）if函数四、字符串函数（substr）substrget_json_object五
转载
2023-09-08 12:31:14
114阅读
背景Hive 有丰富的内置函数，方便数据处理和数据分析。但是有些时候无法满足需求，这时就需要自定义函数（User-Defined Functions , UDF）来扩展 Hive 函数库，实现用户想要的功能。 UDF 开发编写 UDF 函数需要下面两个步骤：继承 org.apache.hadoop.hive.ql.exec.UDF实现 evaluate 函数，这个函数必须要有返回值，不能设置为vo
转载
2023-07-17 22:39:09
111阅读
HIve SQL学习笔记最近面试的时候一直听到面试官说Hive SQL，今天刷了一点资料稍微系统的学习一下，在这里做一个小结。首先介绍一下Hive SQL：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。它使得针对Hadoop进行SQL查询成为可能。简单来说，HiveSQL与我们之
转载
2023-07-18 12:32:54
65阅读
第一种调优方式：fetch(hive可以避免MapReduce)对于hive可以简单地读取employee对应的储存目录下的文件,然后输出查询结果到控制台.修改hive.fetch.task.conversion默认是more,老版本为minimal,修改为more即可第二种：本地模式(在hive输入数据量是非常小的情况下,可以通过本地模式处理单台机器上所有的任务,设置hive.exec.mode
转载
2023-07-12 21:36:01
386阅读
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。1.1 查询语
转载
2023-09-01 16:20:57
372阅读
1 Hive简介1.1 什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。Hive处理的数据存储在HDFSHive分析数据底层的实现是计算引擎，MapReduce、Spark、Tez等执行程序运行在Yarn上1.2 为什么使用Hive操作接口采用类SQL语法，提供快速开发的能力。避免了去写MapReduce、Spark等J
转载
2023-08-10 12:56:15
26阅读
