一、介绍Flink是分布式大数据处理框架，那么网络通信就离不开了，从目前来看，几乎所有的开源的大型软件，尤其是Java的，基本已经不再倾向于自己写底层网络通信，毕竟有很多可以使用的Rpc网络通信框架可以来完善使用，Flink也是如此，它是基本Akka Rpc这款Rpc通信框架的。二、分析1、服务端先看一下测试代码的最基础的通信代码（RpcEndPointTest.java）：public inte
转载
2024-03-19 19:45:11
30阅读
DEMOFlink RPC 众所周知底层是Akka，我先来写一个RPC 的用例RPC Gatewaypublic interface HelloGateway extends RpcGateway {
CompletableFuture<String> hello();
}RPC Endpoint也就是服务端执行的public class HelloRpcEndpoint
转载
2024-03-08 10:37:10
38阅读
IntermediateDatasetIntermediateDataset 是在 JobGraph 中对中间结果的抽象。我们知道，JobGraph 是对 StreamGraph 进一步进行优化后得到的逻辑图，它尽量把可以 chain 到一起 operator 合并为一个 JobVertex，而 
主要抽象Flink RPC 框架主要抽象了RpcService,RpcEndpoint,RpcGateway,RpcServer这几个接口，具体实现可以采用多种方式，比如：akka,nettyRpcService我理解为RPC框架的引擎，可以用来启动、停止、连接一个RpcEndpoint，以及执行某些异步任务或者周期性调度任务。主要方法:
connect:连接到一个RpcEndpoint,返回一个
转载
2023-12-10 10:34:31
65阅读
flink中的rpc框架使用的akka。在本节并不详细讲述akka，而是就flink中rpc来讲述akka的部分内容。本节，我从AkkaRpcActor.handleRpcInvocation方法讲起。 看过hadoop、yarn、hive、hbase、presto的rpc框架，感觉flink的通信框架是最容易让人绕晕的。虽然之前也看过一点spark中akka的通信，但现在早已忘得一干二净。
转载
2024-02-08 14:51:49
85阅读
前言白话系列 ————————————————————————————也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！白话Flink系列 ————————————————————————————主要是记录本人（国内某9
架构要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager 去执行，然
转载
2024-04-02 10:03:24
129阅读
Flink组件通讯过程RPC（本地/远程）调用，底层是通过Akka提供的tell/ask方法进行通信。Flink中RPC框架中涉及的主要类：1RpcGatewayFlink的RPC协议通过RpcGateway来定义，主要定义通信行为；用于远程调用RpcEndpoint的某些方法，可以理解为客服端代理。若想与远端Actor通信，则必须提供地址（ip和port），如在Flink-on-Yarn模式下，
原创
2021-03-14 10:04:40
1306阅读
本篇翻译自论文：Lightweight Asynchronous Snapshots for Distributed Dataflows，Flink的容错快照模型即来源于该论文
分布式数据流的轻量级异步快照
摘要分布式有状态的流处理使得大规模持续计算能够部署在云端，它的目标是低延迟和高吞吐。其最基本的挑战之一是提供潜在失败可能性下对处理的保证。现有的方法都依赖用于故障恢复的周期
转载
2024-08-27 09:26:17
94阅读
前言之前在 Flink 学习 — Flink 配置文件说明 讲过 Flink 的配置，但是后面陆续有人来问我一些配置相关的东西，在加上我现在对 Flink 也更熟悉了些，这里我就再写下 Flink JobManager 的配置相关信息。
在 Flink 学习 — Apache Flink 入门介绍 一文中介绍过了 Flink Job 的运行架构图：JobManager 协调每个 F
转载
2024-08-19 12:33:29
86阅读
RPC 结构流程上一篇我们了解了什么是 RPC，以及 RPC 和 HTTP 的区别，这次我们了解下 RPC 的结构流程。上一篇我们提到过 RPC 的优点是调用双方无需关心网络通讯的具体实现，就像写本地函数一样简单，在整个调用的过程中，RPC 会尽可能的让这个通讯过程对使用者透明。那么， RPC 结构流程是什么样的呢？RPC 的结构流程图 1、Caller （客户端）以本地调用的方式发起调用2、
转载
2024-06-17 08:27:05
42阅读
一、简介 RPC是Remote Procedure Call的缩写，翻译成中文为：远程方法调用。它是一种在本地机器上调用远端机器上的一个过程（方法）的技术，这个过程也被大家称为“分布式计算”，是为了提高各个分立机器的“互操作性”而发明出来的技术。 XML-RPC的全称是XML Remote Procedure Call，即XML远程方法调用。它是一套允许运行在不同操作系统、不同环境的程序实现基
转载
2023-06-09 15:19:13
278阅读
前提安装和配置好python，我安装的是2.7版本的开始1.安装python依赖对于Java进行thrift的开发，我们是通过gradle来引入thrift的依赖库。现在我们用到python，也需要用到thrift对python支持的库。 我们直接去thrift官网下载 Apache Thrift v0.12.0，我当前下载的版本是0.12.0，是最新的版本。 下载完直接解压就可以了，在解压文件里
转载
2023-06-15 13:33:37
366阅读
RPC 客户端实现起来要比服务器简单，所以我们先讲客户端的实现原理和方法。当然，实现 RPC 客户端也具有一定的挑战性，其核心难点在于客户端往往并不是单线程的，我们需要考虑多线程下如何流畅使用客户端而不出现并发问题。我们将根据下图所示的模型图逐步讲解： 在多线程客户端中，客户端和数据库之间会维护一个连接池。当线程中的代码需要访问数据库时，先从连接池中获取一个连接，与数据库交互完成后再将这个连接归
转载
2024-08-30 12:26:39
80阅读
Thrift 框架快速入门由 学院君 创建于11个月前, 最后更新于 11个月前版本号 #1Thrift 简介和系统架构Thrift 是由 Facebook 开源的轻量级、跨语言 RPC 框架，为数据传输、序列化以及应用级程序处理提供了清晰的抽象和实现。我们可以通过中间语言 IDL 来定义 RPC 接口和数据类型，再通过编译器来生成不同语言对应的代码，最后基于这些自动生成的代码通过相应的编程语言来
转载
2024-01-08 20:32:56
54阅读
近日常有同学来问我如何阅读代码，关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量，正好此前综合地阅读 Spark 的 RPC 实现、Flink 基于 ...
转载
2021-06-10 20:23:37
103阅读
近日常有同学来问我如何阅读代码，关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量，正好此前综合地阅读 Spark 的 RPC 实现、Flink 基于 ...
转载
2021-06-10 20:23:35
111阅读
1. 安装依赖 # 服务端 pip install jsonrpcserver # 客户端 pip install jsonrpcclient 2. 服务端 2.1 基本使用案例 from jsonrpcserver import Success, method, serve @method def
原创
2022-03-09 10:16:00
392阅读
1. 概述RPC 是什么？
RPC（Remote Procedure Call Protocol），RPC 是指远程过程调用，比如现在有两台服务器 A、B，一个应用部署在 A 服务器上，想要调用 B 服务器上应用提供的函数/方法，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语义和传达调用的数据参数。简略的来讲，RPC 的目的就是像调用本地的函数一样，去调用远程服务器中的函数。2.
转载
2023-06-06 11:11:13
185阅读
此刻，我们已经进入第6章，是官方的最后一个环节，但是，并非本系列的最后一个环节。因为在实战中还有一些经验教训，并没体现出来。由于马上要给同事没培训celery了。我也来不及写太多。等后面，我们再慢慢补充。RPC：是远程过程调用。百度写了一大堆。此刻，我们简单点说：比如，我们在本地的代码中调用一个函数，那么这个函数不一定有返回值,但一定有返回。若是在分布式环境中，香我们前几章的例子，发送消息出去后，
转载
2023-08-10 19:59:19
48阅读
