1.Spark的集群模式 1.1 集群中的组件 1.1.1 driver 一个Spark应用本身在集群中是作为一个独立进程运行的.它在main程序中通过SparkContext来进行协调.这个独立进程就是driver端 1.1.2 executorCluster Manager)(StandAlone,Mesos,YARN等).Executor 进程).这些Executo
转载
2024-06-11 12:57:00
45阅读
一、Master 处理 Driver 注册消息上次阅读到客户端发送了一个 RequestSubmitDriver 消息给 Master，Master 收到消息后开始处理。在 Master 类中搜索 case RequestSubmitDriver，可以看到具体的处理逻辑：首先创建了一个 DriverInfo:val driver = createDriver(description)
new D
# 如何解决 "Yarn 看不到日志" 问题
## 1. 整体流程
为了解决 "Yarn 看不到日志" 问题，首先需要了解整个流程。下面是一个简单的表格展示了解决问题的步骤：
```mermaid
erDiagram
确认问题 --> 检查 Yarn log level --> 修改 log level
```
## 2. 每一步具体操作
### 2.1. 确认问题
在解决问题
原创
2024-04-11 05:24:50
175阅读
最近在学习esp32，使用VSCODE进行开发。今天在添加自己的项目文件，编译后，系统提示找不到头文件，找了很久，最终在大佬同事的帮助下才解决，这里记录一下。情况一（在components文件下添加）先上报错图片。 &nb
转载
2024-07-13 09:59:38
94阅读
前言使用Yarn 作为集群管理器，启动Spark 时，无法再从SparkUI-4040 端口查看相应的信息。只能从Hadoop 的Yarn、历史服务器查看，但是默认是没有开启。所以，这里展示如何配置开启历史服务器、查看日志。Hadoop-2.7.3 Spark-2.4.01. HDFS 配置确保你的Hadoop 已经完成配置，并且已经能够正常启动。 下面，在已有的Hadoop 配置上，增加配置。m
转载
2023-08-22 22:25:44
662阅读
# 实现"spark 任务跑完 yarn logs 看不到日志"的步骤
---
## 流程图
```mermaid
flowchart TD
A[开始] --> B[创建Spark任务]
B --> C[提交任务到YARN集群]
C --> D[等待任务执行完成]
D --> E[获取任务日志]
E --> F[查看任务日志]
F --> G[
原创
2023-09-01 05:56:54
388阅读
ResourceManager (RM) )：负责对各NM上的资源进行统一管理和调度。将AM分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组件构成： 调度器（Resource Scheduler）和应用程序管理 器（Application Manger）。 调度器 (Scheduler)：调度器根据容量、队列等限制条件（如每个队列
转载
2024-09-16 08:29:52
50阅读
在YARN上运行Spark在Spark0.6.0版本开始支持YARN模式，随后的版本在逐渐地完善。在YARN上启动Spark确保HADOOP_CONF_DIR或YARN_CONF_DIR属性的值已经指向了Hadoop集群的配置文件。Spark通常使用这些配置信息来向HDFS写入数据和连接到YARN资源管理器。这个目录下所有的文件将会被分发到YARN集群中，所以所有应用使用的容器都使用同样的配置。如
通常写spark的程序用scala比较方便，毕竟spark的源码就是用scala写的。然而，目前java开发者特别多，尤其进行数据对接、上线服务的时候，这时候，就需要掌握一些spark在java中的使用方法了 一、map map在进行数据处理、转换的时候，不能更常用了 在
转载
2024-02-05 03:20:57
43阅读
为啥kylin on spark的日志看不到,明明在运行时是能看到的,但是停止后就看不到了呢?在看下/user/spark/applicationHistory路径下根本没有kylin on spark 的app的日志.先屡一下思路,自己运行的正常的spark app停止后是可以看到日志的,但是kylin on spark 却看不到,说明这个不是yarn JobHistory Server的锅,也
原创
2022-01-02 15:03:34
198阅读
# Spark看不到状态：缺失状态管理的挑战
在大数据处理领域，Apache Spark作为一个强大的分布式计算框架，被广泛应用于数据处理、分析和机器学习等场景。然而，在某些情况下，我们可能会发现在Spark作业中缺乏对状态的有效管理。这意味着，我们无法轻易跟踪处理的当前进度和状态变化，给开发人员和运维带来了挑战。本文将通过实例讲解如何解决这一问题，并提供一些代码示例。
## Spark作业的
1、Rest服务 Spark源为了方便用户对任务做监控，从1.4版本启用Rest服务，用户可以通过访问地址，得到application的运行状态。 Spark的REST API返回的信息是JSON格式的，开发者们可以很方便地通过这个API来创建可视化的Spark监控工具。目前 这个API支持正在运行的应用程序，也支持历史服务器。在请求URL都有/api/v1。比如，对于历史服务器来说，我们可
转载
2023-06-11 14:48:33
802阅读
如何使docker logs看不到mysql的日志输出
---
在使用Docker来运行MySQL时，有时候我们希望将MySQL的日志输出隐藏起来，不在docker logs中显示出来。下面我将介绍如何实现这个需求。
## 整体流程
为了方便理解，下面是实现这个需求的步骤流程：
步骤 | 描述
--- | ---
1 | 创建一个自定义的MySQL Docker镜像
2 | 在容器中启动
原创
2024-02-04 09:35:13
118阅读
进程和线程这对概念的理解也是很难的，至今网络上可查的资料对其的理解出入都挺大，在不同的操作系统中，如linux和windows中，其概念和实现都是有出入的。因此，我在这里结合我自己的理解谈下这两个概念，讲的都是一般性的概念，并且主要是基以WINDOWS的。 一般将进程定义为一个正在运行的程序的实例。我们在任务管理器重所看到的每一项，就可以理解为一个进程，每个进程都有一个地址空间，这个地址空间里有
## 实现“springboot看不到redis日志”的步骤流程
为了实现“springboot看不到redis日志”的功能，我们需要按照以下步骤进行操作：
| 步骤 | 操作 |
| ------ | ------ |
| 步骤一 | 在项目的pom.xml文件中添加redis和logback的依赖 |
| 步骤二 | 配置logback.xml文件 |
| 步骤三 | 配置applicat
原创
2023-10-14 11:50:15
109阅读
有时很多东西都是细致方面的事，又可能脱离互联网太长时间了，碰到这个问题居然一时反应不过来了，其实在生产系统把log4j的级别跳到debug或者info其实可想而知，不断地写日志文件，对系统本来就是一种消耗，少日志，少人用没有关系，一旦并发，数据上来之后，这个消耗是灾难性的。
应用逻辑里面打的日志量不会太多，更多情况下可能是对sql的日志和spring等
# Lazydocker使用日志看不到
在日常的开发工作中，我们经常会使用一些工具来帮助我们更高效地管理和监控我们的项目。Lazydocker就是这样一款非常实用的工具，它可以帮助我们在命令行下进行Docker容器的管理和监控。但是有时候我们会发现在使用Lazydocker时，日志看不到的情况，这给我们的工作带来了一定的困扰。
## Lazydocker是什么
Lazydocker是一个使用
原创
2024-07-13 03:28:41
30阅读
如何解决DolphinScheduler运行看不到YARN任务
## 1. 问题描述
有时候在使用DolphinScheduler（以下简称DS）进行任务调度时，可能会遇到运行任务后在YARN中看不到该任务的情况。这个问题可能是由于DS配置或者环境问题导致的，下面将介绍如何解决这个问题。
## 2. 解决步骤
下面是解决该问题的步骤，我们将通过以下几个步骤逐步排查和解决问题。
| 步骤
原创
2023-12-27 08:03:32
224阅读
# 如何解决“yarn页面看不到mapreduce运行”问题
## 问题描述
在使用Hadoop时，有时候会遇到yarn页面看不到mapreduce任务运行的情况，这可能是由于配置错误或者其他原因导致的。下面我将分享如何解决这个问题的步骤和方法。
## 解决步骤
首先，让我们来看一下整个解决问题的流程，然后详细介绍每一步需要做什么。
### 解决步骤概览
| 步骤 | 描述 |
| ----
原创
2024-02-26 06:31:59
167阅读
# Hive的SQL查询在YARN上看不到
Hive是一种基于Hadoop的数据仓库工具，它允许用户使用SQL语法对大规模数据集进行查询和分析。然而，有时候我们会遇到一个问题，就是在使用Hive进行SQL查询时，查询过程在YARN资源管理器上看不到。本文将深入探讨这个问题，并提供解决方案。
## 问题描述
当我们在Hive中执行一个SQL查询时，Hive会将查询转换为一系列的MapReduc
原创
2023-12-03 05:53:48
514阅读
