Flink on YARN 日志未输出
在使用 Flink 运行在 YARN 上时，有时可能会遇到日志未输出的情况。这种情况下，无法通过查看日志来定位问题，给调试带来了很大的困扰。本文将介绍可能导致 Flink on YARN 日志未输出的原因，并给出相应的解决方案。
1. 问题描述
在使用 Flink on YARN 时，任务运行正常，但是无法在 YARN 的日志中找到对应的输出。这会导致在排查问题时无法从日志中获取关键信息，增加了调试难度。
2. 可能的原因
2.1 日志文件路径配置错误
Flink on YARN 的日志文件路径可以通过配置参数 yarn.application.container.log.dir 来进行设置。如果该参数配置错误，日志将被输出到错误的路径，从而导致无法找到日志。
2.2 日志级别配置错误
Flink on YARN 的日志级别可以通过配置参数 yarn.log-config 来进行设置。如果该参数配置错误，或者设置的日志级别过高，日志将被过滤掉，从而导致无法显示在日志文件中。
2.3 YARN 日志聚集延迟
YARN 会将任务的输出日志聚集到一个日志文件中，以方便查看。但是，这个聚集的过程可能会有一定的延迟。如果任务执行较短，而日志聚集过程还未完成，那么就会导致无法在日志文件中找到输出。
3. 解决方法
3.1 检查日志文件路径配置
首先，需要检查 Flink on YARN 的日志文件路径配置是否正确。可以通过以下方式来确认：
- 打开 Flink on YARN 提交任务的配置文件，通常为
flink-conf.yaml。 - 搜索
yarn.application.container.log.dir参数，检查配置的路径是否正确。
3.2 检查日志级别配置
其次，需要检查 Flink on YARN 的日志级别配置是否正确。可以通过以下方式来确认：
- 打开 Flink on YARN 提交任务的配置文件，通常为
flink-conf.yaml。 - 搜索
yarn.log-config参数，检查配置的日志级别是否正确。
3.3 等待日志聚集完成
最后，如果任务执行较短，可能需要等待一段时间，直到 YARN 完成对日志的聚集。可以通过以下方式来确认：
- 打开 YARN 的日志聚集目录，通常为
$HADOOP_HOME/logs/userlogs/。 - 在该目录下找到对应任务的日志文件，确认是否有输出。
4. 实例演示
下面是一个简单的示例，演示了使用 Flink on YARN 运行一个 WordCount 任务，并输出到日志文件中：
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
public class WordCountJob {
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String> text = env.socketTextStream("localhost", 9999);
DataStream<Tuple2<String, Integer>> counts = text
.flatMap(new Tokenizer())
.keyBy(0)
.sum(1);
counts.print(); // 输出到控制台
env.execute("WordCountJob");
}
public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {
@Override
public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
// 将输入字符串按空格切分成单词并统计个数
String[] words = value.toLowerCase().split("\\W+");
for (String word : words) {
if (word.length() > 0) {
out.collect(new Tuple2<>(word, 1));
}
}
}
}
}
在以上示例中，我们使用 Flink 的 DataStream API 实现了一个简单的 WordCount 任务。
