问题一、OOM问题1. 客户端报错报错 java.lang.OutOfMemoryError: Java heap space 分析：客户端在提交job前会获取数据文件的块信息、大小信息，确定文件如何进行切片，此过程消耗客户端的内存和cpu， 当数据量过大时，如果本地jvm设置的比较小，会导致客户端内存溢出报错 处理：可以设置如下参数调大客户端jvm： &nb
转载
2023-07-24 15:23:15
159阅读
# 从Flink流转换成Table并写入Hive
Apache Flink是一个流式数据处理引擎，可以在分布式环境中高效地处理大规模数据。而Hive是一个数据仓库，可以用来存储和查询大规模数据集。在实际的数据处理任务中，我们有时需要将Flink处理的流数据转换为表格数据，并写入Hive中进行持久化存储。本文将介绍如何使用Flink将流数据转换成Table并写入Hive，帮助大家更好地理解这一过程
原创
2024-05-10 04:11:51
63阅读
# 使用Flink Table API将数据写入Hive分区表
在实时数据处理领域，Apache Flink是一个非常流行的开源分布式流处理框架。它提供了Table API，一种基于SQL的API，可以方便地对数据进行转换和分析。同时，Flink还支持将处理后的数据写入外部存储，比如Hive分区表。本文将介绍如何使用Flink Table API将数据写入Hive分区表，并提供相应的代码示例。
原创
2024-07-10 04:09:59
109阅读
# 如何使用Spark将数据保存为Hive分区表
在大数据处理的过程中，Spark和Hive经常被一起使用。今天我们将学习如何使用Spark将数据写入Hive的分区表。本文将详细介绍整个流程，并附上示例代码，帮助小白开发者快速上手。
## 整体流程
我们可以将这个过程分为几个主要步骤，以下是每一步的简要说明：
| 步骤 | 描述 |
|---
原创
2024-08-02 11:32:12
424阅读
我们生产常有将实时数据流与 Hive 维表 join 来丰富数据的需求，其中 Hive 表是分区表，业务上需要关联上 Hive 最新分区的数据。上周 Flink 1.12 发布了，刚好支撑了这种业务场景，我也将 1.12 版本部署后做了一个线上需求并上线。对比之前生产环
转载
2023-09-25 11:01:43
76阅读
一、创建表语句CREATE TABLE IF NOT EXISTS mydb.employees(
name STRING COMMENT 'Employee name',
salary FLOAT
subordinates ARRAY<STRING>
deductions MAP<STRIN
转载
2023-05-22 15:42:10
107阅读
目录创建表内部表和外部表存储格式行格式& SerDePartitioned TablesExternal TablesCreate Table As Select (CTAS)Create Table LikeBucketed Sorted TablesSkewed Tables(倾斜表)Temporary Tables（临时表）Transactional Tables（事务表）Const
转载
2024-04-28 12:41:07
76阅读
## 从 Flink Stream 转 Table 到写入 Hive 中的 ETL 流程详解
在实时数据处理的场景中，Apache Flink 是一个非常流行的流处理引擎，它提供了强大的流数据处理能力。在实际的应用中，我们经常会遇到需要将 Flink Stream 转换为 Table，并进行 ETL 处理后写入 Hive 中的需求。本文将详细介绍这一流程，并提供示例代码。
### 流程图
`
原创
2024-05-21 05:32:38
34阅读
1.分析原因 很多人可能都知道这个语句是用来修复分区的，但具体修复了什么，就说不上来了。2.解决办法 搞清楚这个命令的作用就不会滥用了。3.实战演习 （1）查看官方文档
转载
2023-11-14 10:34:44
256阅读
- HDFS写入流程示意图 图片来源《Hadoop权威指南第四版》客户端调用DistributedFileSystem对象的create()方法来新建文件。DistributedFileSystem对namenode创建一个RPC调用，在文件系统的命名空间中新建一个文件，此时该文件中还没有相应的数据块namenode执行不同的检查以确保这个文件不存在以及客户端有
转载
2023-09-07 10:51:29
100阅读
HDFS写流程HDFS写流程步骤创建文件1、客户端调用DistributedFileSystem.create()方法Rpc方式（ClientProtocol.create()）远程调用NameNode（NameNodeRpcServer）的create()方法在HDFS上创建文件。 2、NameNode将该事务操作保持到edits.log文件当中 3、NameNode.create()创建成功，
转载
2023-10-23 10:24:39
89阅读
文章目录滚动策略分区提交分区提交触发器分区时间的抽取分区提交策略完整示例定义实体类自定义source写入file flink提供了一个file system connector，可以使用DDL创建一个table，然后使用sql的方法将数据写入hdfs、local等文件系统，支持的写入格式包括json、csv、avro、parquet、orc。 一个最简单的DDL如下：CREATE TABLE
转载
2023-08-28 16:02:21
293阅读
# 如何使用“describe table hive”命令
## 介绍
在Hive中，使用“describe table hive”命令可以查看表的结构和元数据信息，包括列名、类型、注释等。对于刚入行的小白来说，掌握这个命令是非常重要的。本文将详细介绍如何使用“describe table hive”命令。
## 行动计划
下面是整个过程的行动计划表格：
| 步骤 | 描述 |
| ----
原创
2024-02-04 03:14:29
112阅读
写在前面：本来想着把表的创建，删除，以及修改一篇搞定的。结果看了一下，东西还是蛮多的，而且也是很多经常使用的操作。所以，就暂且分开处理吧。特别提醒：在日常不管是创建库、表还是修改字段，删除等操作，建议都加上 [IF NOT EXISTS] | [IF EXISTS] 选项；虽然是可选项，但是还是小心为上，万一你在操作时没有加库名，又操作错了，那你哭都找不到地方。 Th
转载
2023-08-28 20:56:58
336阅读
目录1.查询性能的实用工具1.1EXPLAIN语句1.1.1EXPLAIN语法1.1.2查询计划1.1.3例子1.2 ANALYZE语句1.2.1 ANALYZE语法1.2.2例子1.2.3查看统计信息1.3日志2.表设计调优2.1分区表2.2分桶表2.3创建索引2.3.1创建索引语法2.3.2删除索引3.数据格式调优3.1文件格式3.2压缩4.作业调优4.1本地模式4.2设置fetch task
转载
2024-02-04 11:22:12
621阅读
目录HIVE的基本理解，使用，特性什么是hivehive元数据hive默认分隔符 \001hive行级更新操作的前提条件hive/mysql/hbase比较函数hive解决wordcount案例hive内部表与外部表hql特性:hive常用命令:读取数据文件方法：查看yarn mr日志HIVE动态分区HIVE锁表问题HIVE数据倾斜HIVE优化hive 小表与大表关联大表和
转载
2023-12-26 22:44:41
55阅读
小表Join大表将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率。说明：新版的hive已经对小表JOIN大表和大表JOIN小表进行了优化。小表放在左边和右边已经没有明显区别。示例：insert overwrite table jointable
select b.*
from smalltable s left join bigtable b
on
转载
2023-08-11 15:51:59
104阅读
# Hive刷新表的详细解析
Hive是一种用于处理和查询存储在Hadoop上大规模数据的工具。它使用类SQL的语言(HQL)来使用户能够轻松地进行数据仓库操作。虽然Hive能方便地处理数据，但有时我们需要刷新表的元数据信息以确保数据的及时性和准确性。这篇文章将介绍如何使用Hive的`REFRESH TABLE`命令，并通过相关示例帮助您更好地理解这一概念。
## 什么是Hive表的刷新
当
# 如何实现Hive Table 例子
## 概述
欢迎来到Hive Table的世界！在本文中，我将向你展示如何创建Hive表以及如何向表中插入数据。作为一名经验丰富的开发者，我将为你提供详细的步骤和代码示例。让我们开始吧！
## 整体流程
首先，让我们看一下创建Hive表的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 连接到Hive |
| 2 | 创建数据
原创
2024-06-13 05:18:54
34阅读
# Hive重命名表的实现方法
## 引言
在Hive中，如果我们需要修改一个已创建的表的表名，就需要使用到`RENAME TABLE`命令。本文将介绍如何使用Hive进行表重命名操作，并给出了详细的步骤和代码示例。
## 流程概览
下面是实现Hive表重命名的大致流程：
| 步骤 | 操作 | 代码示例
原创
2023-08-13 15:19:04
682阅读
