HIVE分区（partitions）分区主要用于提高性能 分区列的值将表划分为很多segments（文件夹） 查询时使用分区列和常规列类似 查询时HIVE自动过滤不用与提高性能的分区分区主要分为静态分区和动态分区HIVE分区操作静态分区：create table mypart(
userid int,
username string,
gender string,
score int
转载
2023-07-10 23:31:23
65阅读
DDL：data definittion language 数据定义语言
主要是定义或改变表的结构、数据类型、表之间的链接和约束等初始化操作
DML：data manipulation language 数据操作语言
主要是对数据库的数据进行增删改查操作，如select、insert、delete、update等
转载
2023-07-12 10:24:32
76阅读
小小实践1、split 函数—分割2、explode函数—行转列2.1 用于array类型的数据2.2 用于map类型的数据2.3 如何将其用入string类型的数据2.4 explode函数的局限性3、lateral view4、小实践4.1 单词统计4.2 学生成绩相关操作 1、split 函数—分割作用： split()函数是用于切分数据，也就是将一串字符串切割成了一个数组，语法: spl
转载
2023-08-15 14:06:41
1076阅读
1、使用explode函数将hive表中的Map和Array字段数据进行拆分 lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。 
转载
2023-07-14 21:48:33
461阅读
# HDFS和Hive的介绍和使用
## 引言
在大数据领域，处理海量数据是一项重要的任务。在这个领域中，Hadoop生态系统提供了许多强大的工具和框架来管理和处理这些海量数据。其中，HDFS和Hive是最为常用和重要的工具之一。本文将介绍HDFS和Hive的概念、原理和使用方法，并通过代码示例进行演示。
## HDFS概述
HDFS（Hadoop Distributed File Syste
原创
2023-08-26 05:07:22
122阅读
题目题目描述：6x6的方格，沿着格子的边线剪开成两部分。要求这两部分的
原创
2023-03-08 16:18:25
111阅读
# 如何实现Hive JSON分割
## 一、整体流程
```mermaid
journey
title 整体流程
section 开始
开始 --> 下载JSON文件
section 处理JSON文件
下载JSON文件 --> 创建外部表
创建外部表 --> 加载JSON数据
加载JSON数据 --> 创
原创
2024-03-12 03:36:06
73阅读
# Hive SQL 分割实现指南
## 概述
在本文中，我将向你介绍如何使用 Hive SQL 实现数据的分割。Hive SQL 是一种基于 Hadoop 的数据仓库基础架构，它允许开发者使用 SQL 类似的语法来查询和分析大规模的结构化数据。我们将分为以下步骤来完成这个任务：
1. 创建分区表
2. 加载数据到分区表
3. 查询分区数据
4. 删除分区
## 步骤详解
### 1. 创
原创
2023-10-03 04:12:16
132阅读
# 实现Hive分割函数
## 1. 概述
在Hive中，分割函数用于将一个字段的值拆分成多个部分，并将这些部分存储在一个数组或多个列中。分割函数可以帮助我们更好地处理和分析大规模数据。
本文将介绍如何实现Hive分割函数，并提供详细的步骤和示例代码。
## 2. 实现步骤
下表展示了实现Hive分割函数的步骤：
| 步骤 | 描述 |
|---|---|
| 步骤 1 | 创建一个新的
原创
2023-10-01 04:56:06
92阅读
问题简介最近业务方反馈依照导入MySQL表导入Hive有部分字段变更乱码，于是乎走上了解决乱码的不归路。 集群信息 服务器系统版本：centos 7.2 cdh 版本：cdh5.9.0 hadoop 版本：2.6.0+cdh5.9.0 hive 版本：1.1.0+cdh5.9.0 sqoop 版本：1.4.6+cdh5.9.0 备注：涉及敏感信息的的变量，使用${xxxx} 代替问题定位首先，导入
转载
2023-08-22 21:34:50
92阅读
【Hive】Hive常用函数 文章目录【Hive】Hive常用函数UDF字符串类日期类集合类条件类UDAFUDTFLateral view Hive的函数分为三类，分别是UDF、UDAF、UDTF，简单区分这三类函数就是 UDF是单行输入，单行输出；UDAF是多行输入，单行输出；UDTF是单行输入，多行或多列输出。另：所有的hive函数，都可以使用desc function 函数名 查看使用方法
转载
2023-07-14 11:21:14
99阅读
一、分组1. Group By语句GROUP BY语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。案例实操：（1）计算emp表每个部门的平均工资hive (default)> select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno;（2）计算emp每个部门中每个岗位的最高薪水h
转载
2023-08-18 22:54:27
187阅读
本节目录内部表和外部表静态分区表动态分区表 分桶表抽样查询1 内部表和外部表未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/ware
转载
2023-09-20 06:12:47
60阅读
1、Hive默认的分隔符Hive的表数据，不管导出到HDFS还是本地文件系统，如果用户在导出时没有指定分割符，那么Hive表的数据在写入文件时，会使用默认的分隔符作为列分隔符，该默认的分割是“CTR+A”，ASCII码排第二位的字符，是不可见字符，二进制表示：'\u0001'。2、显示Hive默认的分隔符有些文本编辑器无法显示不可见字符，会直接用一个小方框代替，乍一看很像是乱码，其实不是，比如下图
转载
2017-02-15 13:41:00
506阅读
2评论
# Hive表数据分割的实现指南
## 1. 引言
随着大数据技术的发展，Hive作为一种数据仓库工具，越来越多地被用于处理和存储大规模的数据。本文将向您介绍如何在Hive中实现表数据分割（Partitioning）。分割是指将表的数据根据某个关键字段分布到多个物理存储位置，以提高查询效率。我们将通过一个流程表格了解具体步骤。
## 2. Hive表数据分割的流程
| 步骤
原创
2024-08-14 08:28:57
205阅读
# Hive分组逗号分割实现指南
## 介绍
在Hive中，分组是一种常见的操作，它可以将数据按照某个字段进行分组，并对每个分组进行聚合操作。有时候我们需要将每个分组中的数据以逗号分割的形式进行展示。本文将指导你如何在Hive中实现“分组逗号分割”的操作。
## 准备工作
在开始之前，确保你已经安装并配置了Hive环境，并且有一些数据可以供我们进行实验。同时，我们还需掌握一些基本的Hive语法
原创
2024-01-03 04:48:58
190阅读
# Hive分组分割的实现方法
## 1. 流程概述
在Hive中，分组分割是指按照指定的字段对数据进行分组，并将每个分组的数据存储到不同的文件或表中。以下是实现Hive分组分割的流程概述：
1. 创建一个包含需要分组分割的数据的表。
2. 使用Hive的分组分割语法将数据按照指定的字段进行分组。
3. 将每个分组的数据保存到不同的文件或表中。
下面将详细介绍每个步骤需要做什么，并提供相应
原创
2023-11-06 04:47:08
80阅读
Hive进阶函数之【分割函数（split)、行转列函数（explode)、lateral view】1、split 函数—分割 2、explode函数—行转列 2.1 用于array类型的数据 2.2 用于map类型的数据 2.3 如何将其用入string类型的数据 2.4 explode函数的局限性 3、lateral view1、split 函数—分割作用： split()函数是用于切分数据，
转载
2023-09-20 06:23:08
8051阅读
前言在对hive SQL进行解析，以及跟踪hive job与yarn application的关系时，
还有对hive数据仓库进行数据治理时，需要对hive元数据有个较为清楚的认识，
进而更好的在解析SQL时，对数据访问进行权限控制；
在资源管理时，进行资源归属；
在数据生命周期管理时对其进行有效管理hive元数据库、表hive元数据是有mysql存储的，如果默认安装则是hive数据库，里面有一系
转载
2023-08-10 01:50:13
181阅读
题目链接：https://leetcode-cn.com/problems/palindrome-partitioning/题目：给定一个字符串 s，将 s 分割成一些子串，使每个子串都是回文串。
原创
2022-06-15 10:03:14
51阅读
