hive：对数据的处理（客户端）hive是将类sql（HQL）语句转换成功 mapreduce程序执行的（默认，还可以将hql语句转换为spark程序处理）。
所以hive会将要处理的数据和表、数据库、字段做一个映射（hive的元数据），hive元数据的保存方式就决定了hive的运行、安装模式。hive的安装使用,hive安装模式：1. 嵌入模式：hive自带有 Derby 数据库用来存储元数据。
转载
2023-08-18 22:55:19
34阅读
spark配置参数spark.executor.cores表示每个Executor可利用的CPU核心数。其值不宜设定过大，因为Hive的底层以HDFS存储，而HDFS有时对高并发写入处理不太好，容易造成race condition。设定在3~6之间比较合理。spark.executor.memory/spark.yarn.executor.memoryOverhead这两个参数分别表示每个Exec
转载
2023-09-01 16:25:33
72阅读
# Hive写表数据很慢的原因及优化方法
在大数据处理领域，Apache Hive 是一个常用的数据仓库工具，但许多初学者在使用过程中常常会遇到写表数据慢的问题。本文将为你揭示整个流程，并提供优化的方法。
## 完整流程概述
下面是完成数据写入的流程步骤：
| 步骤 | 具体内容 | 说明
原创
2024-08-19 05:47:55
194阅读
# Hive多个分区写数据的概述与实践
在大数据处理的生态中，Apache Hive 是一个广泛使用的数据仓库工具，它提供了用于管理和查询大量数据的功能。Hive 通过将数据分区来优化查询性能，这种技术对于处理大规模数据集尤其重要。本文将探讨如何在 Hive 中进行多个分区的数据写入，并提供代码示例帮助理解。
## 什么是分区？
在 Hive 中，分区是将大表划分为更小、更易管理的部分。这种
原创
2024-08-12 06:28:39
143阅读
# Spring Boot 写数据到 Hive 的指南
在大数据时代，Hive 作为一个用于数据仓库的工具，已经成为了分析海量数据的重要选择。Spring Boot 是一个用于快速开发Java应用程序的框架，它凭借其易于使用的特性，广泛应用于现代微服务架构中。本文将介绍如何通过 Spring Boot 将数据写入到 Hive 数据库，并提供代码示例。
## 环境准备
在开始之前，我们需要确保
原创
2024-10-29 05:16:04
49阅读
# Spring Boot往Hive写数据实现步骤
## 引言
在本文中，我将向你介绍如何使用Spring Boot将数据写入Hive数据库。首先我会给你一个整体的流程图，然后逐步解释每个步骤需要做什么，并提供相应的代码示例。
## 流程图
以下是实现"Spring Boot往Hive写数据"的整体流程图：
```mermaid
sequenceDiagram
participant
原创
2023-09-28 10:17:21
212阅读
Hive是什么？Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析，而不必使用编程语言开发MapReduce那么麻烦。 如图中所示，Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaSto
转载
2023-07-16 16:28:53
46阅读
最近在搞flink，搞了一个当前比较新的版本试了一下，当时运行了很长时间，hdfs里面查询有文件，但是hive里面查询这个表为空，后面用了很多种方式，一些是说自己去刷新hive表，如下：第一种方式刷新
alter table t_kafkamsg2hivetable add partition(dt='2022-03-04',hr=11);
第二种方式刷新，也可以说是修复
msck repair
转载
2023-09-02 22:15:11
219阅读
今天偶尔发现一个CDH集群中的Hive MetaStore Server发生了异常，于是检查相关日志，具体日志为Hive MetaStore Server所在节点的/var/log/hive/hadoop-cmf-hive-HIVEMETASTORE-sbh01.esgyn.cn.log.out，日志报错如下，2019-10-31 06:22:51,467 INFO org.apache.had
转载
2023-12-03 10:28:10
69阅读
在现代数据处理架构中，Parquet格式和Hive之间的区别越来越成为数据工程师和架构师必须理解的基本概念。Parquet作为一种列存储格式，提供了出色的读写性能；而Hive则是为大数据处理提供查询能力的一个重要项目。理解两者的不同点，可以帮助我们在实际应用中做出更明智的选择。
## 背景定位
### 技术定位
随着大数据技术的飞速发展，数据存储和查询方式也在不断演进。在2000年代初，随着
# Java往hive写数据项目方案
## 1. 方案介绍
在本项目中，我们将使用Java编程语言将数据写入Hive，以实现数据的持久化和分析。Hive是一个基于Hadoop的数据仓库，可以方便地进行大数据的存储和查询。通过使用Java与Hive的集成，我们可以将实时或批量数据写入Hive表中，并进一步用于数据分析、机器学习等场景。
## 2. 技术实现
本项目方案将使用以下技术实现：
- J
原创
2024-02-03 06:26:06
55阅读
## Spark读Hive数据写CSV
在大数据分析和处理中，Spark是一个非常流行的框架，它提供了强大的工具和API来处理大规模数据集。而Hive是一个建立在Hadoop之上的数据仓库工具，它提供了一个类似于SQL的查询语言来处理和分析数据。本文将介绍如何使用Spark读取Hive中的数据，并将其写入CSV文件。
### 准备工作
在开始之前，我们需要确保已经正确安装和配置了Spark和
原创
2024-01-16 11:35:11
148阅读
8 Hive Shell操作8.1 Hive bin下脚本介绍8.2 Hive Shell 基本操作1、Hive 命令行 hive [-hiveconf x=y]* [<-ifilename>]* [<-f filename>|<-e query-string>] [-S] -i 从文件初始化HQL-e &nbs
转载
2023-09-13 15:34:42
56阅读
# 在 Hive 中如何写入数据到 CLOB
在 Hive 中，CLOB（Character Large Object）是一种用于存储大字符串值的数据类型。如果我们需要将数据写入 CLOB 字段，我们可以使用 Hive 的内置函数 `concat_ws` 和 `concat` 来实现。本文将介绍如何使用 Hive 将数据写入 CLOB 字段，并提供代码示例和详细的解释。
## 准备工作
在开
原创
2024-01-30 06:31:57
99阅读
# Python写数据到Hive表
## 1. 简介
在本文中，我将教你如何使用Python将数据写入Hive表。Hive是一个基于Hadoop的数据仓库工具，它提供了一个类SQL的查询语言，用于处理大规模数据集。Python是一种流行的编程语言，它提供了许多用于数据处理和分析的库和工具。
## 2. 准备工作
在开始之前，你需要确保以下几点：
- 已经安装好Python和Hive。
- 已经
原创
2023-08-26 14:42:02
524阅读
# Hive Java 写数据到集群
Hive 是一个构建在 Hadoop 之上的数据仓库工具，用于处理大规模的数据集。通过 Hive，我们不仅能执行 SQL 查询，甚至可以通过 Java 集成将数据写入到 Hive 集群中。本篇文章将为您介绍如何使用 Java 将数据写入 Hive 集群，包括代码示例和相关的 UML 图。
## Hive 数据模型
在 Hive 中，数据通常存储在类似于表
原创
2024-09-08 03:30:43
58阅读
文章目录项目场景：问题描述原因分析：分析hive的MV策略如下：hdfs mv原理解决方案：方案一：修改临时目录方案二： 项目场景：spark streaming从 Kafka 消费数据，写到 Hive 表。问题描述数据量级上亿，SparkStreaming 的 bath time 为 1 min, 在某一个时刻开始出现任务堆积，即大量任务处于 Queued 状态，卡在了某个 job，最长延迟时
转载
2023-07-28 13:46:28
118阅读
一、hive为我们提供的函数hive给我们提供了一些内置函数，比如截取字符串，大小写转换此处距离substr1、首先模仿sql建立一个伪表dualcreate table dual(id string);2、准备数据在本地创建一个文档，dual.txt，内容为一个空格或者空行3、加载数据到表格load data local inpath '/root/dual.txt' into table du
转载
2023-08-16 17:55:01
221阅读
背景：Hive版本：1.2.1，Spark 版本：2.3.0, 实时程序逻辑比较简单，从 Kafka 消费数据，写到 Hive 表。数据量级上亿，SparkStreaming 的 bath time 为 1 min, 在某一个时刻开始出现任务堆积，即大量任务处于 Queued 状态，卡在了某个 job，最长延迟时间为 1.7 h。查看 job 状态一直处于 processing, 但是发现该
转载
2023-07-21 19:45:01
173阅读
须知1. toplink
2. saveAsTable是DataFrameWriter的方法，DFW会有mode和option，mode统一有4种，但saveAsTable没有option，可以在上面的官文中查看某方法有哪些option3. saveAsTable执行后，原来hive的表的元数据会变，TBLPROPERTIES会增加很多spark相关的属性。但分区字段会变成普通字段，需要使用Dat
转载
2023-07-12 21:38:40
369阅读
