如何杀掉Yarn上的任务
引言
在使用Yarn进行任务调度时，有时候我们需要手动杀死正在运行的任务。本文将介绍如何在Yarn上杀死任务，同时提供一个实际问题的解决方案。
Yarn简介
Yarn是一个开源的分布式计算框架，用于在大规模集群上进行任务调度和资源管理。Yarn的一个关键组件是ResourceManager，它负责管理集群上的资源和调度任务。
杀死Yarn上的任务
当我们需要停止正在运行的任务时，可以使用Yarn提供的命令行工具或API来实现。以下是两种常用的方法：
1. 使用命令行工具
Yarn提供了一个命令行工具yarn application，可以用来管理正在运行的应用程序。我们可以使用yarn application -list命令来列出正在运行的应用程序和它们的应用ID。然后，使用yarn application -kill <applicationId>命令来杀死指定的应用程序。
下面是一个示例，演示如何使用命令行工具杀死Yarn上的任务：
# 列出正在运行的应用程序
$ yarn application -list
# 输出示例
19/01/01 12:00:00 INFO client.RMProxy: Connecting to ResourceManager at <resourcemanager>:8032
Total Applications:1
Application-Id Application-Name User Queue State Final-State Progress Tracking-URL
application_1546300800000_0001 example-task user1 default RUNNING UNDEFINED 50% http://<tracking-url>
# 杀死指定的应用程序
$ yarn application -kill application_1546300800000_0001
2. 使用Yarn API
除了命令行工具，我们还可以使用Yarn提供的Java API来杀死任务。首先，我们需要获取到ResourceManager的句柄，然后使用killApplication方法来杀死指定的应用程序。
以下是一个简单的Java示例代码，展示如何使用Yarn API来杀死任务：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.yarn.api.records.ApplicationId;
import org.apache.hadoop.yarn.api.records.ApplicationReport;
import org.apache.hadoop.yarn.api.records.YarnApplicationState;
import org.apache.hadoop.yarn.client.api.YarnClient;
import org.apache.hadoop.yarn.exceptions.YarnException;
import java.io.IOException;
import java.util.List;
public class YarnTaskKiller {
public static void main(String[] args) throws IOException, YarnException {
Configuration conf = new Configuration();
YarnClient yarnClient = YarnClient.createYarnClient();
yarnClient.init(conf);
yarnClient.start();
List<ApplicationReport> applications = yarnClient.getApplications();
for (ApplicationReport application : applications) {
if (application.getApplicationName().equals("example-task") &&
application.getYarnApplicationState() == YarnApplicationState.RUNNING) {
ApplicationId applicationId = application.getApplicationId();
yarnClient.killApplication(applicationId);
System.out.println("Killed application with ID: " + applicationId);
}
}
yarnClient.stop();
}
}
解决实际问题：停止长时间运行的任务
假设我们有一个长时间运行的任务，由于某种原因，我们需要停止它。这时，我们可以使用上述方法来杀死Yarn上的任务。
示例场景
我们的集群上有一个分布式机器学习任务，由多个任务节点组成。某一天，我们发现有一个节点的任务停滞不前，已经运行了很长时间。这可能是由于节点出现故障或者任务逻辑错误。无论是哪种情况，为了避免资源的浪费，我们需要停止这个任务。
解决方案
首先，我们可以使用yarn application -list命令来查找正在运行的任务的应用ID。然后，使用yarn application -kill <applicationId>命令来杀死这个任务。这样就能停止这个长时间运行的任务，释放资源。
下面是一个示例，演示如何使用命令行工具来停止长时间运行的任务：
