这两天学习了一下Log4j的基本配置，确实感觉很好很强大。一下是本人配置的一个小例子
log4j属性配置文件为 log4j.properties
其中的配置内容为：
log4j.rootLogger=info,A,B,C
log4j.appender.A=org.apache.log4j.FileAppender
log4j.appender.A.
转载
2024-09-09 08:06:16
19阅读
Flink TableAPI&SQL 学习至此结束（这是我根据B站尚硅谷教学视频自学的总结吧--能力有限）
2.6 表和流的转换一般用于测试时候的数据输出，针对的是 流数据 。由于Table没有提供print()方法，所有要将Table数据类型转换成DataStream数据类型或者DataSet。2.6.1 将表(Table)转换成流(DataS
转载
2024-05-06 13:49:26
134阅读
一、项目中大多用的都是Log4j做的，而此次迁移到logback有如下理由：1、logback是log4j团队新作，重写了内部实现，在速度得到提升的同时，占用更少的内存；2、log4j与logback都是slf4j抽象层的实现，迁移工作量较小，也不存在兼容问题；注：在代码中调用log对象，应该用slf4j提供的工厂类如：private static final Logger log = Logge
转载
2024-06-12 08:40:30
92阅读
文章目录数据流格式可用的格式AvroAzure Table StorageCSV高级配置HadoopUsing Hadoop InputFormatsUsing Hadoop OutputFormatsParquetVectorized readerAvro Parquet readerFlink RowDataAvro RecordsGeneric recordSpecific recordR
转载
2024-04-24 21:32:16
29阅读
前言 一直在分享flink的基础核心概念、demo，却很少提到flink的配置文件，今天就来分享下配置文件。一、日志框架 现在很多现代框架都是用门面模式进行日志输出，例如使用Slf4j中的接口输出日志，具体实现类需要由log4j，log4j2，logback等
转载
2023-11-28 09:42:40
198阅读
# Flink on YARN Log日志
Apache Flink是一个分布式流处理和批处理框架，可以在大规模数据集上进行高效的数据计算和分析。在Flink上运行应用程序时，我们经常需要查看日志以了解应用程序的运行状况和调试可能的问题。本文将介绍如何在Flink on YARN环境下查看和分析日志。
## Flink on YARN简介
Flink on YARN是Flink框架在YARN
原创
2023-07-23 16:02:00
766阅读
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。1. 配置文件 Log4J配置文件的基本格式如下：#配置根Logger
log4j.rootLogger = [ level ] , appenderName1 , appenderN
转载
2024-05-14 11:19:18
155阅读
flink是标准的实时处理引擎，而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的，不过现在Spark Streaming已经非常稳定基本都没有更新了，然后重点移到spark sql和structured Streaming了。Flink作为一个很好用的实时处理框架，也支持批处理，不仅提供了API的形式，也可以写sql文本。这篇文章主
转载
2024-04-04 07:16:39
30阅读
一、什么是log4j、log4j2和slf4j Log4j是Apache的一个开源项目，通过配置来控制日志的输出。主要是控制日志的输出级别、输出位置和输出内容格式。 Log4j2是在log4j框架的基础上进行了优化和改造具有更好的性能。 slf4j是一个日志输出接口，其本身是没有具体实现的，必须的借助上面的日志框架才能更好的实现日志输出。使用slf4j能够更好的让用户进行日志框架的切换而无需
转载
2024-05-16 06:58:28
384阅读
log4j的配置文件是用来设置纪录器的级别、存放位置和布局的，可以通过Java属性文件（key＝value）格式设置或XML格式设置。log4j配置文件元素简介：Logger Logger是一个允许应用纪录日志的对象，开发者不必考虑输出位置。应用可将具体需要打印的信息通过一个Object传递。Logger是命名了的实体，每个Logger相互独立，它们的名字大小写敏感且遵循层次化命名规则：如果
转载
2024-06-28 12:07:13
88阅读
log4j相关依赖<dependencies>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</depen
转载
2024-03-15 19:18:17
153阅读
前言SparkStreaming用久了，打算学习一下Flink，就从官网下载了Flink 1.11，打算搞一个客户端，将程序提交在yarn上。因为Flink从1.7之后就不再提供Hadoop的依赖，所以很多依赖就要自己下载，于是各种ClassNotFoundException，其中以log*.class为首的格外猖狂，可能是因为flink和Hadoop的日志实现有点区别，就一直哐哐哐报错，slf4
从刚开始到现在，一直对打印日志什么感兴趣，今天下午有时间，就仔细研究了下。1.什么是Log4j?什么是slf4j?Log4j是Apache的一个开源项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的
转载
2024-03-06 18:27:04
164阅读
1.Flink中Time概念我们知道在分布式环境中 Time 是一个很重要的概念，在 Flink 中 Time 可以分为三种Event-Time，Processing-Time 以及 Ingestion-Time，三者的关系我们可以从下图中得知：Event-Time 表示事件发生的时间Processing-Time 则表示处理消息的时间Ingestion-Time 表示进入到系统的时间在 Flin
转载
2024-08-28 22:36:47
74阅读
# Flink on YARN 指定日志目录的实现指南
## 引言
Apache Flink 是一个流处理框架，而 YARN（Yet Another Resource Negotiator）则是 Hadoop 的资源调度组件。将 Flink 部署在 YARN 上时，可能需要指定日志目录以便更好地管理和查看日志信息。本文将指导你如何实现这一点。
## 流程步骤
| 步骤 | 操作 | 说明
原创
2024-09-05 03:40:45
151阅读
监控 checkpoint概览（Overview）选项卡Checkpoint Counts：
Triggered：自作业开始以来触发的 checkpoint 总数In Progress：当前正在进行的 checkpoint 数量Completed：自作业开始以来成功完成的 checkpoint 总数Failed：自作业开始以来失败的 checkpoint 总数Restored：自作业开始以来
5.5 输出算子5.5.1 概述调用print是返回输出类，作为最后一环sink存在该方法创建了一个PrintSinkFunction 操作，然后作为addSink方法的参数PrintSinkFunction这个类继承自RichSinkFunction富函数类RichSinkFunction类继承了AbstractRichFunction富函数类因此就可以调用富函数类(是一个实现类)的声明周期方法
转载
2024-05-07 14:45:35
40阅读
一、二者区别1.区别log4j（ log for java ）（4 同 for） Apache的一个开源项目，可以灵活地记录日志信息，我们可以通过Log4j的配置文件灵活配置日志的记录格式、记录级别、输出格式，而不需要修改已有的日志记录代码。slf4j：simple log facade for java 简单日志门面 slf4j不是具体的日志解决方案，它只服务于各种各样的日志系统。按照官方的说法
转载
2024-04-23 09:38:58
454阅读
在强调可重用组件开发的今天，除了自己从头到尾开发一个可重用的日志操作类外，Apache为我们提供了一个强有力的日志操作包-Log4j。
Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定
转载
2024-03-07 06:20:19
590阅读
Flink 在进行 slot sharing 的时候，不会考虑当前 slot 的任务数、磁盘 IO 这些，而是会遵循“相同 task 的多个subtask 不能分配到同一个 slot 中”这样的一个规则。举个例子： 如果作业中有 A, B 两个 vertex，并发为 2，那就有 A1, A2, B1, B2 这 4 个 subtask。 那么 A1 和 A2 不能放到一个 slot 中，B1 和
转载
2024-02-21 22:38:44
92阅读
