前言2021大数据领域优质创作博客，带你从入门到精通，该博客每天更新，逐渐完善大数据各个知识体系的文章，帮助大家更高效学习。 Hive的表生成函数一、explode函数explode(col)：将hive一列中复杂的array或者map结构拆分成多行。 explode(ARRAY) 数组的每个元素生成一行 explode(MAP) map中每个key-value对，生成一行，key为一列，valu
转载
2023-07-28 19:48:45
63阅读
## 使用Hive数据库中的decode函数解决特定问题
在Hive数据库中，decode函数可以用来进行条件判断和值替换，类似于SQL中的CASE WHEN语句。在本文中，我们将使用decode函数来解决一个具体的问题：统计某个表中不同类型的产品销量占比。
### 问题描述
假设我们有一个产品销售表sales，其中包含产品类型type和销售数量quantity两个字段，我们希望统计不同类型
原创
2024-06-22 06:39:43
22阅读
一、实验说明1. 实验介绍通过上一节实验的SYN泛洪攻击结合Socket实现DDoS攻击。2. 开发环境Ubuntu LinuxPython 3.x版本3. 知识点本次实验将涉及以下知识点：argparse 命令解析socket的基本用法4. 效果图二、理论知识1. 实现思路由于上节实验我们已经实现了SYN泛洪攻击，而DDoS则是多台主机一起发起攻击，我们只需要能发送命令，让连接到服务器的客户端一
文章目录Hive 数据类型原生数据类型复合数据类型Hive SerDeSerDe ROW FORMATHive 默认存储路径Hive建表内部表和外部表分区表事务表为什么Hive要支持事务？ Hive 数据类型Hive SQL中,数据类型英文字母大小写不敏感;除SQL数据类型外,还支持Java数据类型,比如字符串string ;复杂数据类型的使用通常需要和分隔符指定语法配合使用;如果定义的数据类型
转载
2023-08-07 12:19:13
20阅读
一、Hive数据导入导出1、hive数据导出 很多时候，我们在hive中执行select语句，希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中，hive提供了方便的关键词，来实现上面所述的功能。
1.将select的结果放到一个新表中（首先要用create table创建新的表格）
insert overwrite table table_name
转载
2023-05-18 13:45:56
422阅读
hive之反斜杠导致Unicode编码字段里的中文无法正常显示从mysql拉到hive的ods的表中字段显示不正常，如下 content字段中文无法显示 首先利用在线unicode解析看下具体的中文内容是什么 **初始判定问题原因：**此时暂时判定是因为hive没有成功将“unicode”编码格式的字段转化为“utf-8”，故而无法正常显示 因为没有找到合适的函数进行转码，所以自定义UDF，如下i
转载
2022-02-15 11:40:23
795阅读
HIVE hive是基于hadoop的一个数据仓库工具，可以将结构化的数据映射成一张数据表，并提供简单的sql查询功能，可以将sql语句转化为MapReduce任务进行运行，优点是学习成本低，可以通过类sql语句快速简单的实现MapReduce的统计，不必专门开发MapReduce应用，十分适合数据仓库的统计。 &nbs
转载
2023-07-12 21:13:45
182阅读
一、Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端本质是：将HQL转化成MapReduce程序二、H
转载
2024-01-11 13:20:29
77阅读
目录创建和查询数据库查询数据库修改数据库切换数据库删除数据库 创建和查询数据库掌握常用的建库语句掌握查询数据库的常用语句任务1：创建数据库任务2：查询数据库1.1 建库语法结构CREATE（DATABASE| SCHEMA）[IFNOTEXISTS] database_name [COMMENT'database_comment'] [LOCATION 'hdfs_pa
转载
2023-09-01 19:37:49
132阅读
目录ddl: data define lauguage库操作：表操作：建表说明：创建表：查看表列表查看建表语句查看表的详细信息查看hive函数列表修改表清空表删除表dml:数据插入：1）load的方式进行数据加载2）insert方式例子：3）分区表的数据插入4）分桶表的数据插入：5）数据导出查询：1）join:2）常见的关联的方式：3）hive中的几个by4）hive的分析函数：hive的数据类型
转载
2023-07-20 20:13:58
61阅读
备注: Hive 版本 2.1.1 文章目录一.Hive的DML(数据操作语言)概述二.Load 命令2.1 数据准备2.2 将服务器文件加载到hive表2.3 将HDFS文件加载到hive表三.INSERT INTO TABLE FROM Query3.1 Insert into select 语句3.2 Insert overwrite select 语句3.3 multiple insert
转载
2023-07-13 16:35:06
122阅读
Hive数据定义HiveQL是Hive查询语言,作为ANSI SQL的一种方言。但是其还是有和关系数据库支持的SQL中有本质的差异。如：Hive不支持事务，且默认情况下不支持行级别插入，更新，删除操作。 虽然可以在HiveQL中使用关联子句，但HiveQL中并没有主外键概念，也就没有强制的约束控制，这样数据的存储可以宽泛很多。Hive数据库Hive中的数据库概念本质上仅仅是目录或者命名空间，然而用
转载
2023-10-09 10:13:15
125阅读
hive数据库操作（上）1、DDL---数据定义语言1.1数据库操作1.2表操作1.2.1管理表与外部表1.2.2分区表2、DML---数据操作语言2.1数据导入2.2数据导出 1、DDL—数据定义语言1.1数据库操作创建数据库create database db_hive;避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）create database if no
转载
2023-06-14 21:27:55
180阅读
第一章：上次课回顾零基础班第十七课 - hive进阶： 回顾： 1、上次课主要讲了建表语句中更为复杂的函数：array_type、map_type、struct_type； 2、除了直接启动Hive以外，还提供了Hiveserver2+beeline的方式连接Hive、或者Java\Scala\Python通过JDBC的方式连接； 3、每一个分区都是HDFS上的一个目录，这个目录要和元数据对应上；
转载
2024-08-30 13:49:25
38阅读
decode(表达式,表达式的值,满足条件后的取值)decode(表达式,表达式的值,满足条件后的取值,不满足条件的取值)使用场景：比如在统计某项指标的时候需要给一个默认值，这时候就可以用decode实例：查询员工信息，员工性别在录入的时候可能没有录到，存在null值，如果查出来是null，就赋默认值男表结构如下：表内容：SELECT u.`name`,DECODE(u.`sex`,NULL,'男
转载
2023-07-10 15:08:22
140阅读
# 实现Hive Decode
## 概述
Hive是一个基于Hadoop的数据仓库工具，它提供了类SQL的查询语言HiveQL，用于对大规模数据集进行查询和分析。在Hive中，没有内置的`DECODE`函数用于条件判断和赋值，但我们可以通过一系列的SQL语句实现这个功能。
在这篇文章中，我将向你介绍如何使用Hive实现`DECODE`函数。
## 实现步骤
下面是实现`DECODE`函数
原创
2023-07-21 19:54:51
274阅读
这些年大数据概念已经成为IT界的热门，我们经常也会在新闻和报纸中看到。大数据概念中最为关键的技术就是数据库管理系统，伴随着hadoop和MapReduce技术的流行，大数据的数据库中Hive和Spark等新型数据库脱颖而出；而另一个技术流派是基于传统的并行数据库技术演化而来的大规模并行处理（MPP）数据库比如GreenPlum和HAWQ也在最近几年突飞猛进，这两种流派都有对应的比较知
转载
2023-08-16 17:28:31
197阅读
–hive基本语法10/11– –dbeaver链接hive的办法：如果vscode上面有做端口映射 可以直接使用localhost登录；如果没有做端口映射，需要用主机ip地址登录 –dbeaver链接mysql的办法:先在vscode上面有做端口映射 再根据映射的端口登录即可 show databases; --只会删除元数据（mysql的数据）–删除数据库 加上cascade关键字会做级联删除
转载
2023-08-08 14:26:13
180阅读
一，引言二，表生成函数 2.1 行转列函数（explode） 2.2 表生成函数（lateral view explode）三，集合函数 3.1 判断值是否存在某集合(array_contains) 3.2 集合排序(sort_array) 3.3 集合长度(size) 3.4 Map集合的keys值返回(map_keys) 3.5 Map集合的values值返回(map_value
转载
2023-07-12 22:11:15
358阅读
## 利用hive库decode函数判断男女
在数据分析的过程中，我们常常需要根据一些规则或条件来判断数据的属性。在hive中，我们可以利用`decode`函数来进行判断。本文将介绍如何使用hive库中的`decode`函数来判断男女性别。
### 1. `decode`函数简介
在hive中，`decode`函数的语法如下：
```sql
decode(value, match1, re
原创
2024-05-17 06:42:20
70阅读
