[size=large][b]Hive 是什么[/b][/size] [color=red][b]Hive是建立在Hadoop上的数据仓库基础构架。[/b][/color]它提供了一系列的工具,[color=red][b]可以用来进行数据提取转化加载(ETL)[/b][/color],[color=blue][b]这是一种可以存储、查询和分析存储在 Ha
hive基本语法10/11– –dbeaver链接hive的办法:如果vscode上面有做端口映射 可以直接使用localhost登录;如果没有做端口映射,需要用主机ip地址登录 –dbeaver链接mysql的办法:先在vscode上面有做端口映射 再根据映射的端口登录即可 show databases; --只会删除元数据(mysql的数据)–删除数据库 加上cascade关键字会做级联删除
转载 2023-08-08 14:26:13
180阅读
hive函数学习一、关系运算:=、<>、<、>、<=、>=、IS NULL、IS NOT NULL、LIKE、RLIKE、REGEXP 其中:RLIKE 语法: A RLIKE B 操作类型: strings 描述: 如果字符串A或者字符串B为NULL,则返回NULL;如果字符串A符合JAVA正则表达式B的正则语法,则为TRUE;否则为FALSE。 举例: hi
转载 2023-09-08 12:10:14
537阅读
如果有一个需求,或者一堆需求,而这一堆需求中频繁的都要使用一个数据集,但是这个数据集在原始数据集中没有,可以通过一些操作在原始数据集中得到,那么该怎么办?
字符串的查找,数据开发过程中使用比较频繁。复杂的字符串查找,可以用正则表达式来解决,这个在之前的文章中,也有积累过,但是不是每一次的字符串查找都需要用正则表达式,因为正则表达式的规则还是比较难理解,对于初学者或者是刚开始做数据开发工作的小伙伴来说,还是比较复杂的。今天,记录的这几个,简单易懂且常用的字符串查找函数,供各位小伙伴在数据开发的过程中可以学习使用。一、like1,语法格式:A like
--sql中的group by 用法解析: --Group By语句从英文的字面意义上理解就是“根据(by)一定的规则进行分组(Group)”。 --它的作用是通过一定的规则将一个数据集划分成若干个小的区域,然后针对若干个小区域进行数据处理。 --注意:group by 是先排序后分组;--例如现在有一个这样的表:每个部门有多少人,就要用到分组的技术 select DepartmentID
转载 2023-10-19 10:28:17
120阅读
-e ‘quoted query string’: 运行引号内sql查询语句 Sql from command line-f : 从文件中运行sql语句 Sql from filelinux环境下:$hive -e “sql语句” > 1.log 发现执行后会把结果写入1.log中,包括count(*)的结果$hive -f 某个文件(里面是sql语句) > 2.log 发现执行后会把结果写入2.log中,包括count(*)的结果$hive -f 某个文件(里面是sql语句)
原创 2021-08-10 10:13:11
744阅读
-e ‘quoted query string’: 运行引号内sql查询语句 Sql from command line-f : 从文件中运行sql语句 Sql from filelinux环境下:$hive -e “sql语句” > 1.log 发现执行后会把结果写入1.log中,包括count(*)的结果$hive -f 某个文件(里面是sql语句) > 2.log 发现执行后会把
原创 2022-02-13 14:00:44
1178阅读
   数据处理过程中,我们通常需要对各个维度进行交叉分析,如果只有GROUP BY子句,那我们可以写出按各个维度或层次进行GROUP BY的查询语句,然后再通过UNION子句把结果集拼凑起来,但是这样的查询语句显得冗长、笨拙。       为了解决HQL冗长的问题,下面我们介绍一下HIVE提供的一些语法:group by 后使用
 主要内容:  1、Hive的基本工能机制和概念  2、hive的安装和基本使用  3、HQL  4、hive的脚本化运行使用方式  5、hive的基本语法--建表语法  6、hive的基本语法--内部表和外部表.  7、hive的基本语法--create建表 like as  8、hive的基本语法--数据导入--从本地--从hdfs  9、查询语法  10、数据类
转载 2024-01-23 20:56:26
49阅读
建议配合官方文档学习。官方文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual作者大纲是<<hive编程指南>>,这本书有点老,很多最新的更新都没有[笑哭],不过这些都经过测试,写出来的都能用。注:易于操作的命令:可以在$HIVE_HOME/conf目录下创建.hiverc文件,把需要的配置写进
Presto 的平均查询性能是 Hive 的 10 倍!    由于 Presto 的数据源具有完全解耦、高性能,以及对 ANSI SQL 的支持等特性,使得 Presto 在 ETL、实时数据计算、 Ad-Hoc 查询和实时数据流分析等多个业务场景中均能发挥重要的作用。  由于 Presto 卓越的性能表现,使得 Presto 可以弥补 Hive 无法满足的实时计算空白,因此可以将 Presto
文章目录Hive 数据类型原生数据类型复合数据类型Hive SerDeSerDe ROW FORMATHive 默认存储路径Hive建表内部表和外部表分区表事务表为什么Hive要支持事务? Hive 数据类型Hive SQL中,数据类型英文字母大小写不敏感;除SQL数据类型外,还支持Java数据类型,比如字符串string ;复杂数据类型的使用通常需要和分隔符指定语法配合使用;如果定义的数据类型
转载 2023-08-07 12:19:13
20阅读
目录Hive 简介安装连接到Hive创建数据库创建表加载数据查询数据修改表删除表使用案例结论 Hive 简介Hive是一个基于Hadoop的数据仓库工具,可以将结构化数据映射到Hadoop HDFS上,并提供SQL查询功能。Hive的设计目标是让那些熟悉SQL语言的用户能够在Hadoop上轻松执行数据查询和分析任务,无需编写MapReduce程序。Hive使用HiveQL(类似于SQL)作为查询
转载 2023-08-04 13:11:02
59阅读
hive基础语法一set $属性(变量); with tmp as(); select from( select a.id id, a.name name from test left join test1 b on .... join ... where group by having order by
转载 2023-07-12 10:32:03
264阅读
表结构CREATE TABLE test (f1 string, f2 string, f3 string, cnt int) ROW FORMAT delimited FIELDS TERMINATED BY '\t' stored AS textfile; LOAD
# Hive Cube 用法详解 ## 引言 在大数据时代,Apache Hive 是一个广泛使用的数据仓库工具,它可以让开发者以类 SQL 的方式进行数据查询和分析。Hive在数据分析中使用的一个重要概念是Cube。Cube可以帮助我们实现多维数据的快速查询,特别适合用于OLAP(在线分析处理)场景。本文将深入探讨Hive Cube的用法,并提供代码示例,以帮助读者更好地理解和使用Hive
原创 10月前
136阅读
Hive Decode 用法探讨与实践记录 Hive 是 Hadoop 生态系统中的一部分,作为数据仓库工具,Hive 简化了大数据查询与分析。但是,在使用 Hive 进行数据处理时,特别是在对存储为十六进制或Base64编码的数据进行解析时,会遇到一些问题。这篇文章将记录如何使用 Hive 的 `decode` 函数,深入探讨其用法,并提供实用的技术细节和经验。 ## 背景定位 在一些数据
原创 6月前
64阅读
# 如何使用Hive中的rename命令 ## 概述 在Hive中,我们可以使用`rename`命令来重命名表或者分区。这个命令非常简单,但是对于刚入行的小白来说可能会有困惑。在本文中,我将详细介绍如何在Hive中使用`rename`命令,并给出具体的步骤和代码示例。 ## 流程图 ```mermaid flowchart TD Start --> 检查目标表是否存在 检查目标
原创 2024-07-10 04:06:19
54阅读
# Hive 中的 GROUP BY 用法教程 在大数据管理的实践中,Hive 是一个强大的工具,用于处理和分析海量数据。作为一名开发者,掌握 Hive 中的 `GROUP BY` 语句是非常重要的,它能帮你对数据进行分组统计。在这篇文章中,我将带你一步步实现 Hive 中的 `GROUP BY` 的用法。 ## 整体流程概述 以下是实现 Hive 中 `GROUP BY` 的整体流程:
原创 2024-10-09 03:27:47
30阅读
  • 1
  • 2
  • 3
  • 4
  • 5