开源大新闻Linux Mint 与 Mozilla 建立合作伙伴关系Signal 首席执行官辞职，WhatsApp 联合创始人代理运营 、英特尔 30 年老将 Gregory Bryant 离职开源办公套件 LibreOffice 7.3 将引入现实中不存在的语言王者荣耀、QQ 和微信使用的动画神器即将开源Linux 5.17 中 Btrfs 有良好的性能改进开源软件专区Apache Flink
1.什么是flink？Apache Flink十一个能够提供毫秒级延迟，同时有保证了数据处理的低延迟、高吞吐和结果的正确性的框架和分布式处理引擎，用于对无界流和有界流进行状态计算2.Flink 的重要特点？事件驱动型基于流的世界观 在Flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。分层API 越顶层越抽象，表达含义越简明，使用
转载
2024-02-23 16:08:13
99阅读
RDMA的学习环境搭建 RDMA需要专门的RDMA网卡或者InfiniBand卡 环境，softiwarp ， - 这是加载地址：https://github./zrlio/s...
转载
2021-01-19 21:19:00
2935阅读
2评论
访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运...
转载
2021-01-20 10:54:00
648阅读
2评论
相关说明书：mlnx3、mlnx4、mlnx5……https://docs.mellanox.com/spaces/viewspace.action?key=MLNXOFEDv512620
原创
2021-09-28 09:42:28
778阅读
相关说明书： mlnx3、mlnx4、mlnx5……
转载
2021-06-08 10:16:00
251阅读
2评论
概念InfiniBand (以下简称IB)只是RDMA实现方式的一种！RDMA本身只是一种概念，具体实现不同厂商都有自己的实现方式，目前市场上能见到的RDMA产品可以分为三类：InfiniBand --- 这个最早是IBM和HP等一群大佬在做，现在主要交给以色列的Mellanox (IBM 控股)，但是InfiniBand从L2到L4都需要自己的专有硬件，所以成本非常高！RoCE --- RDMA
目录说明1. RDMA的学习环境搭建2. RDMA与socket的类比3. RDMA服务器的代码流程4. 关闭连接实例说明1. RDMA的学习环境搭建RDMA需要专门的RDMA网卡或者InfiniBand卡才能使用，学习RDMA而又没有这些硬件设备，
原创
2021-09-28 09:45:04
1615阅读
什么是RDMA？ 1. 概述 RDMA是Remote Direct Memory Access的缩写，通俗的说可以看成是远程的DMA技术，为了解决网络传输中服务器端数据处理的延迟
转载
2018-07-01 11:03:00
738阅读
2评论
背景传统的TCP/IP技术在数据包处理过程中，要经过操作系统及其他软件层，需要占用大量的服务器资源和内存总线带宽，数据在系统内存、处理器缓存和网络控制器缓存之间来回进行复制移动，给服务器的CPU和内存造成了沉重负担。尤其是网络带宽、处理器速度与内存带宽三者的严重"不匹配性"，更加剧了网络延迟效应。DMADMA(直接内存访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运不需
原创
2022-10-17 21:04:19
498阅读
在计算中，远程直接内存访问（RDMA）是从一台计算机的内存到另一台计算机的内存的直接内存访问，而不涉及任何一个操作系统。这允许高吞吐量，低延迟的网络，这在大规模并行计算机集群中特别有用。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理能力。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带
转载
2019-03-23 23:06:40
1108阅读
背景从网络方面来说，数据中心的两个基本目标是提供higher bandwidth和lower latency。而传统的TCP/IP协议栈由于其设计复杂性会导致高延迟，以及其高CPU开销，这些都是数据中心不希望的。随着RoCE协议的提出，RDMA在数据中心开始被广泛采用。
原创
2021-09-28 18:48:58
1114阅读
原文：https://zhuanlan.zhihu.com/p/138874738 本想完全靠自己的语言完成这篇概述，然而开篇并没有想象当中的好写，看样子从宏观上概括一个技术比从微观上探究细枝末节要困难不少。本文是以前人们对RDMA技术的介绍为主，加入了一些自...
转载
2021-01-21 14:26:00
721阅读
2评论
目录1.Comparing JSOR with Java TCP communications2.Comparing JSOR to Java Sockets Direct Protocol (SDP) communications3.JSOR features and design3.1 JSOR Desgin3.2 JSOR Zero copy function4. JSOR li
转载
2023-08-07 15:34:54
161阅读
RDMA对于网络的诉求对于支撑端到端传输的基础网络而言，低延时（微秒级）、无损（lossless）则是最重要的指标。低延时网络转发延时主要产生在设备节点（这里忽略了光电传输延时和数据串行延时），设备转发延时包括以下三部分：存储转发延时：芯片转发流水线处理延迟，每个hop会产生1微秒左右的芯片处理延时（业界也有尝试使用cut-through
原创
2021-09-28 11:45:12
704阅读
目录 说明 1. RDMA的学习环境搭建 2. RDMA与socket的类比 3. RDMA服务器的代码流程 main（） { } 实例 Makefile 服务端server.c 客户端client.c 更多讲解教程 说明 1. RDMA的学习环境搭建 RDM...
转载
2021-04-23 16:53:00
743阅读
2评论
目录 背景 IRN(improved RoCE NIC) 性能评估 参考文献 原文：https://zhuanlan.zhihu.com/p/185773772 背景 从网络方面来说，数据中心的两个基本目标是提供higher bandwidth和lower...
转载
2021-04-06 22:28:00
560阅读
2评论
1. 背景 前两篇文章我们介绍的GPUDirect P2P和NVLink技术可以大大提升GPU服务器单机的GPU通信性能，当前深度学习模型越来越复杂，计算数据量暴增，对于大规模深度学习训练任务，单机已经无法满足计算要求，多机多卡的分布式训练成为了必要的需求，这个时候多机间的通信成为了分布式训练性能的重要指标。 &nbs
转载
2024-05-06 17:35:25
762阅读
