场景描述hive 数据表的导入导出功能部分代码如下所示，使用 assemble 将 Java 程序和 spark 相关依赖一起打成 jar 包，最后 spark-submit 提交 jar 到集群执行。public class SparkHiveApplication {
public static void main(String[] args){
long star
您是否曾经对运行了几个小时的Spark作业感到沮丧，但由于基础设施问题而失败了。 您会很晚才知道此故障，并浪费了数小时的时间，当Spark UI日志也无法用于事后检查时，它会更加痛苦。 你不是一个人！ 在这篇文章中，我将介绍如何启用与Spark logger搭配使用的自定义记录器。 该定制记录器将收集从被动监视到主动监视所需的所有信息。 无需为此设置额外的日志记录。 Spark
转载
2023-08-08 09:01:23
107阅读
之前介绍过Spark 1.6版本的部署，现在最新版本的spark为3.0.1并且已经完全兼容hadoop 3.x，同样仍然支持RDD与DataFrame两套API，这篇文章就主要介绍一下基于Hadoop 3.x的Spark 3.0部署，首先还是官网下载安装包，下载地址为：http://spark.apache.org/downloads.html，目前spark稳定版本
转载
2023-08-02 12:35:01
536阅读
Spark 1.6.x的新特性Spark-1.6是Spark-2.0之前的最后一个版本。主要是三个大方面的改进：性能提升，新的 Dataset API 和数据科学功能的扩展。这是社区开发非常重要的一个里程碑。1. 性能提升根据 Apache Spark 官方 2015 年 Spark Survey，有 91% 的用户想要提升 Spark 的性能。Parquet 性能自动化内存管理流状态管理速度提升
转载
2023-08-09 16:41:01
217阅读
软件版本 软件信息
软件名称版本下载地址备注Java1.8https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html64位版本的Scala2.10.5https://www.scala-lang.org/download/2.10.5.html SBTsbt 1.1.6h
今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。由于目前工作使用的是2.2.0，所以这次的分析也就从2.2.0版本入手了。涉及的内容主要有：St
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是 说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history server
Spark 最新的特性以及功能2015 年中 Spark 版本从 1.2.1 升级到当前最新的 1.5.2，1.6.0 版本也马上要进行发布，每个版本都包含了许多的新特性以及重要的性能改进，我会按照时间顺序列举部分改进出来，希望大家对 Spark 版本的演化有一个稍微直观的认识。由于篇幅关系，这次不能给大家一一讲解其中每一项改进，因此挑选了一些我认为比较重要的特性来给大家讲解。如有遗漏和错误，还
场景描述如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。那么我就需要一个东西保存历史状态State。 首先区分一下两个概念，state一般指一个具体的task/operator的状态。而checkpoint则表示了一个Job，在一个特定时刻的一份全局状态快照，即包含了所有task/operator的状态。我们在这里讨论的是state
转载
2023-08-27 19:25:56
297阅读
如何分析GC日志学习内容：Java VisualVM：功能介绍GC日志分析：分析： 学习内容：Java VisualVM：工具在目录：C:\Java\jdk1.8.0_181\bin**功能介绍1.抽样器，点击内存，就可以看到各个类占用内存大小，实例数量，一眼就能定位到具体的异常方法。2.点击监视 可以看到堆内存的使用情况3.插件下载4.点击下载Visual GC插件。可以看到各代内存情况5.远
转载
2023-08-12 20:25:07
203阅读
SparkContext是通往Spark集群的唯一入口，是整个Application运行调度的核心。一、Spark Driver Program Spark Driver Program（以下简称Driver）是运行Application的main函数并且新建SparkContext实例的程序。其实，初始化SparkContext是为了准备Spark应用程序的运行环境，在Spark中，由Sp
spark的提交方式总体来说有两种，分别是standalone模式和yarn模式。这两种模式又分别有两种提交方式，分别是：standalone下的client提交方式。（客户端提交）standalone下的cluster提交方式。（集群提交）yarn下的client提交方式。（客户端提交）yarn下的cluster提交方式。（集群提交）下面分别来说说这几种提交方式。Standalone模式下的两种
# 如何查看 Spark 版本
Apache Spark 是一种快速、通用的大数据处理引擎，具有高效的内存计算功能。在使用 Spark 进行大数据处理时，我们通常需要知道当前 Spark 的版本信息，以便了解其功能特性和是否需要更新版本。本文将介绍如何查看 Spark 的版本信息，并提供相关代码示例。
## 查看 Spark 版本的方法
在 Spark 中，我们可以通过编程方式或命令行方式查
# 查看Spark版本的步骤
在教会小白如何查看Spark版本之前，我们先来了解一下整个流程。下面是查看Spark版本的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 打开Spark Shell或Spark应用程序 |
| 步骤2 | 导入SparkSession |
| 步骤3 | 创建SparkSession实例 |
| 步骤4 | 获取Spark版本 |
|
线上GC日志如何查看附上案例的jvm参数-server
-Xms2048M
-Xmx2048M
-Xss256k
-XX:NewSize=512M
-XX:MaxNewSize=512M
-XX:SurvivorRatio=8
-XX:CMSInitiatin
kafka1.0–>spark streaming2.0查看spark版本与内置的scala版本spark-shell 在Maven Repository下载 spark-streaming-kafka-0-10_2.11-2.0.0.jar文件,其中，2.11表示scala的版本，2.0.0表示Spark版本号,0-10表示kafka版本注意！！！ Spark2.3版本中spark-str
日志信息如下所示：1.1.1.1 - - [21/Jul/2014:10:00:00 -0800] "GET /majihua/article/284234 HTTP/1.1" 200 12341.1.1.1 - - [21/Jul/2014:10:00:00 -080
0准备工作 查看操作系统的版本信息：计算机>>右键“属性”>>查看版本信息，如Windows10专业版64位。 1安装Anaconda 1.1 下载注意选择与操作系统匹配的版本，截止写本教程时，官方版本为Anaconda5.0.1，内部封装的为Python3.6，也可根据需要下载封装其他版本Python的Anaconda
转载
2023-09-05 21:47:06
514阅读
# Spark YARN 日志查看教程
## 简介
本教程将指导你如何通过使用 Spark 和 YARN 来查看应用程序的日志。我们将从整个流程开始，然后逐步指导你执行每个步骤。
## 整体流程
以下表格总结了整个流程，其中包括了每个步骤需要做的事情。
| 步骤 | 描述 |
| --- | --- |
| 步骤 1 | 提交 Spark 应用程序到 YARN 集群 |
| 步骤 2 | 找
# Spark查看Executor日志
在Spark中，Executor是指在集群中运行的任务实例，它负责执行Spark应用程序中的具体任务。Executor的日志可以提供有关任务执行的详细信息，包括任务的进度、错误和性能指标。本文将介绍如何查看Spark Executor日志，并提供相应的代码示例。
## 1. 查看日志文件
Spark Executor的日志文件通常存储在集群中的某个位置
