一、flink架构1.1、集群模型和角色如上图所示：当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager 去执行，然后 TaskManager 将心跳和统计信息汇报 给 JobManager。TaskManager 之间以流的形式进行
转载
2024-03-27 10:34:02
255阅读
前言流式计算对稳定性敏感，所以我们在编写作业时一定会做好防御性编程，如各种判空、边界条件、安全的类型转换、格式判断、异常捕获等。但是墨菲定律说得好：Anything that can go wrong will go wrong.换言之，我们写再多的防御性代码，也无法覆盖所有非法数据的可能性，何况外部环境（网络、磁盘等）也会出现不可预知的波动，所以作业在遇到意外情况时最好能自己“复活”，而不是每次
转载
2024-02-26 21:49:25
196阅读
0. 启动flink-session ./bin/yarn-session.sh -n 4 -s 3 -jm 2048 -tm 6144 高版本 bin/yarn-session.sh -d -s 3 -jm 2048 -tm 6144 -qu root.sparkstreaming -nm hm2 ...
转载
2021-10-28 13:54:00
1141阅读
2评论
Apache Celeborn（Incubating）[1] [2] 是阿里云开源的大数据计算引擎通用 Remote Shuffle Service，旨在提升 Shuffle 的性能/稳定性/弹性，目前已广泛运行在包含阿里在内的多家企业，每天服务着生产环境数十P的 Shuffle 数据，可稳定支撑单 Shuffle 超 600T 的大作业。Apache Celeborn（Inc
前言Kafka是我们日常的流处理任务中最为常用的数据源之一。随着数据类型和数据量的增大，难免要增加新的Kafka topic，或者为已有的topic增加更多partition。那么，Kafka后面作为消费者的实时处理引擎是如何感知到topic和partition变化的呢？本文以Spark Streaming和Flink为例来简单探究一下。Spark Streaming的场合 根据官方文
转载
2024-06-21 20:47:21
82阅读
这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态。调度Flink 通过 Task Slots 来定义执行资源。每个 TaskManager 有一到多个 task slot，每个 task slot 可以运行一条由多个并行 task 组成的流水线。 这样一条流水线由多个连续的 task 组成，比如并行度为 n 的 MapFunction 和 并行度为
转载
2024-03-16 15:25:54
84阅读
背景：目前的yarn集群比较少，在数据量大一点，运行资源不足的情况下经常会影响到实时程序（内心os：还不如搭个flink 集群得了跑啥on yarn嘛毕竟穷是原罪。。。，现在整天都要擦屁股。。。。。）心跳容器超时，也就是在规定的时间内TaskManager 无法为task 向JobManager申请到container 网络，cores，内存都有可能引起直接查看flink的重启策略是什么：点击da
转载
2024-04-26 14:28:56
435阅读
history job的写入1. org.apache.flink.runtime.jobmanager，Object JobManagerrunJobManager中指定使用MemoryArchivist进行作业保存startJobManagerActors中创建了进行作业保存的actor此archive的actor会被传入jobmanager的actor2. org.apache.flink.
转载
2024-05-07 21:28:02
208阅读
安装：下载并启动下载从下载页面(http://flink.apache.org/downloads.html)下载所需的二进制包。你可以选择任何与 Hadoop/Scala 结合的版本。比如 Flink for Hadoop 2。启动一个local模式的Flink集群启动一个local模式的Flink集群非常地简单，我们可以按照以下的步骤来操作：1、进入到下载的目录；2、解压下载的文件；3、启动F
转载
2023-09-06 15:25:16
293阅读
  
