背景：Hive版本：1.2.1，Spark 版本：2.3.0, 实时程序逻辑比较简单，从 Kafka 消费数据，写到 Hive 表。数据量级上亿，SparkStreaming 的 bath time 为 1 min, 在某一个时刻开始出现任务堆积，即大量任务处于 Queued 状态，卡在了某个 job，最长延迟时间为 1.7 h。查看 job 状态一直处于 processing, 但是发现该
转载
2023-07-21 19:45:01
173阅读
spark配置参数spark.executor.cores表示每个Executor可利用的CPU核心数。其值不宜设定过大，因为Hive的底层以HDFS存储，而HDFS有时对高并发写入处理不太好，容易造成race condition。设定在3~6之间比较合理。spark.executor.memory/spark.yarn.executor.memoryOverhead这两个参数分别表示每个Exec
转载
2023-09-01 16:25:33
72阅读
须知1. toplink
2. saveAsTable是DataFrameWriter的方法，DFW会有mode和option，mode统一有4种，但saveAsTable没有option，可以在上面的官文中查看某方法有哪些option3. saveAsTable执行后，原来hive的表的元数据会变，TBLPROPERTIES会增加很多spark相关的属性。但分区字段会变成普通字段，需要使用Dat
转载
2023-07-12 21:38:40
369阅读
7.5 访问 Hive导读整合 SparkSQL 和 Hive, 使用 Hive 的 MetaStore 元信息库使用 SparkSQL 查询 Hive 表案例, 使用常见 HiveSQL写入内容到 Hive 表7.5.1 SparkSQL 整合 Hive导读
转载
2023-08-29 16:57:27
63阅读
# Spark 写 Hive
## 简介
Apache Hive 是一个基于 Hadoop 的数据仓库基础设施，提供了类似于 SQL 的查询语言 HiveQL，用于分析和查询大规模数据集。Spark 是一个快速、通用的集群计算系统，提供了大规模数据处理的能力。在 Spark 中，我们可以使用 Hive 的数据仓库基础设施来进行数据处理和分析。
本文将介绍如何使用 Spark 写入 Hive
原创
2024-01-17 07:41:54
55阅读
## Spark读Hive数据写CSV
在大数据分析和处理中，Spark是一个非常流行的框架，它提供了强大的工具和API来处理大规模数据集。而Hive是一个建立在Hadoop之上的数据仓库工具，它提供了一个类似于SQL的查询语言来处理和分析数据。本文将介绍如何使用Spark读取Hive中的数据，并将其写入CSV文件。
### 准备工作
在开始之前，我们需要确保已经正确安装和配置了Spark和
原创
2024-01-16 11:35:11
148阅读
使用idea构建maven 管理的spark项目 ，默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步:scala插件的安装全局JDK和Library的设置配置全局的Scala SDK新建maven项目属于你的”Hello World!”导入spark依赖编写sprak代码打包在spark上运行1.scala插件的安装
转载
2024-03-12 13:41:54
88阅读
经常听到有人讲：spark写hive 分区表时，原本想覆盖一个分区的数据，但因为错误的编码导致整个表的分区被覆盖。本文针对此问题进行测试。1. 测试结论蓝色字体表示推荐方式需要指定如下参数："spark.sql.sources.partitionOverwriteMode", "dynamic" "hive.exec.dynamic.partition.mode", "nonstric
转载
2023-07-12 15:30:03
175阅读
Spark整合Hive
spark-sql 写代码方式
1、idea里面将代码编写好打包上传到集群中运行，上线使用
spark-submit提交2、spark shell (repl) 里面使用sqlContext 测试使用，简单任务使用
spark-shell --master yarn-client
不能使用yarn-cluster
3、sp
转载
2023-06-11 14:58:22
184阅读
方式一 Receiver 使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Executor的内存中，然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失
转载
2023-08-27 21:59:01
165阅读
spark-shell 整合 hive-------------------------------------------------------------------------------------------------------------------------------1、将 hive/conf/hive-site.xml 拷贝到 spark/conf 下 （目前只是在sp
转载
2023-12-27 21:13:04
48阅读
# 提高Spark写Hive速度的方法
## 简介
对于大数据开发人员来说，Spark是一个非常常用的工具，而Hive则是用来管理数据的仓库。但是有时候我们会发现，通过Spark写Hive的速度很慢，这对于我们的工作效率是一个很大的影响。本文将介绍如何提高Spark写Hive的速度。
## 流程
下面是提高Spark写Hive速度的流程表格：
| 步骤 | 操作 |
| ---- | ---
原创
2024-03-29 04:46:40
333阅读
实验 1 搭建 Spark 实例应用开发环境 程序中会创建 JDBC 连接，并通过 JDBC 在 Spark SQL 中创建 jdbc_sample 集合的映射表，向映射表中插入一条记录后查询 jdbc_sample 记录打印到控制台，最终关闭 JDBC 的连接资源// Call the predefined SdbUtil class to create a collection space a
转载
2024-09-27 21:05:42
53阅读
# 使用Spark并行写入Hive
在大数据处理领域，Apache Spark和Apache Hive是两个非常受欢迎的工具。Spark提供高效的内存计算能力，而Hive提供了良好的数据存储和查询能力。将这两者结合起来，可以使我们在处理大数据时更高效，更便捷。本文将详细介绍如何使用Spark并行写入Hive，并提供相关的代码示例和可视化工具。
## 什么是Spark和Hive？
**Apac
原创
2024-10-10 06:34:48
36阅读
# Spark 读 Hive 写数据到 MySQL
作为一名刚入行的开发者，你可能会遇到需要将数据从 Hive 读取，然后写入到 MySQL 数据库的场景。本文将为你详细介绍这个过程，并提供相应的代码示例。我们的目标是让你能够轻松地实现这一功能。
## 流程概述
首先，我们通过一个流程图来展示整个操作的步骤：
```mermaid
flowchart TD
A[开始] --> B[
原创
2024-07-21 09:56:18
103阅读
问题描述集群默认计算引擎是 hive ，这两天自己试了一下 hive on spark 发现一个奇怪现象，首先 hive 引擎中文做简单查询或者聚合查询都正常，使用 spark 引擎简单查一个表的中文字段也没事，但是只要对 中文字段进行 group by 操作就乱码了问题解决在开启 spark session 后 加两个设置就好了set spark.executor.extraJavaOption
转载
2023-06-17 20:07:35
224阅读
在spark中将数据插入到hive表 步骤： 1. 创建数据集的sparkdataFrame &
转载
2023-08-10 17:07:37
547阅读
译者何源（荆杭），阿里云计算平台事业部高级产品专家前言本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB 级的数据规模，简单的架构，被国内外公司广泛采用。阿里云 EMR-OLAP 团队，基于开源 ClickHouse 进行了系列优化，提供了开源 OLAP 分析引擎 ClickHouse
转载
2024-08-29 11:58:32
86阅读
Spark开发环境搭建一. 安装Spark二. 词频统计案例三. Scala开发环境配置一、安装Spark1.1 下载并解压官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包： # tar -zxvf spark-2.2.3-bin-hadoop2.6.
转载
2024-06-11 06:54:29
56阅读
# 解决Spark SQL写Hive乱码问题
在使用Spark SQL时，经常会遇到写入Hive表时出现乱码的情况，这可能是由于数据编码不一致或者环境配置问题导致的。本文将介绍如何解决Spark SQL写Hive乱码问题，并提供代码示例帮助读者更好地理解。
## 问题描述
当使用Spark SQL将数据写入Hive表时，有时会出现乱码情况，导致数据无法正常显示。这可能会给数据分析和处理带来困
原创
2024-04-02 06:10:58
209阅读
