在设计海量数据的存储架构时，我们往往会面临成本和速率方面的抉择：普通HDD容量大且廉价，但读写速率较慢；SSD的读写比HDD要快数倍到十数倍，但是成本高，单位成本的容量小。所以，当数据量大到一定程度之后，几乎都要考虑冷热数据分离的存储架构，正式的称呼为异构存储（heterogeneous storage）。本文简要介绍HDFS的异构存储策略。从Hadoop 2.6.0（HDFS-2832）开始，H
转载
2024-05-02 15:27:50
130阅读
一、选择题1. 下面哪一项不是mongodb的数据模型？（ A ）A、column B、field C、collection D、database2. HDFS的NameNode http服务的默认端口是？（ C ）A、8080 B、8088 C、50070 D、90003. 启动Hadoop集群HDFS时，需要在那个组件所在的服务器上执行启动指令？（ B ）A、DataNode B、NameNo
转载
2024-09-05 08:25:52
57阅读
TCP2049端口-nfs
rpcbind服务（监听端口为111），rpcbind是RPC协议的服务，被称为远程调用协议英文名为Remove Procedure Call，RPC为远程通信程序管理互相通信即Call的所需基本信息，IP地址、服务端口号等，也就是说，当server和client双方通信时，这些基本的信息都是需要提供的，但是如果成千上万台client访问server就需要有一个专门的
转载
2024-08-29 13:04:58
64阅读
# Hadoop如何使用RDMA解决数据传输性能问题
在大数据处理中，数据传输的速度往往是一个瓶颈。传统的Hadoop集群使用TCP/IP协议进行数据传输，但是这种方式在大规模数据处理时会遇到性能瓶颈。为了提高数据传输性能，可以使用RDMA（Remote Direct Memory Access）技术。
RDMA技术可以绕过CPU，直接在内存之间进行数据传输，因此可以显著提高数据传输速度。下面
原创
2024-06-19 06:49:51
254阅读
前言看介绍，像是mellonx针对其kernel bypass网卡（RDMA网卡）提供的一个lib库，该lib库对外提供socket api，使得用户的程序不需要修改就可以直接使用kernel bypass网卡（如RDMA网卡）。我们都知道RDMA 网卡目前使用的是rdma_cm和vbers api编程，和socket不一样，如果能用socket对RDMA编程，那确
原创
2021-10-15 10:18:15
564阅读
Spark RDD (章节二)Apache Spark常见问题解答Spark与Apache Hadoop有何关系？Spark是与Hadoop数据兼容的快速通用处理引擎。它可以通过YARN或Spark的独立模式在Hadoop群集中运行，并且可以处理HDFS，HBase，Cassandra，Hive和任何Hadoop InputFormat中的数据。它旨在执行批处理（类似于MapReduce）和新的工
RDMA (Remote Direct Memory Access) 全称为 远程直接内存访问 其出现的目的：为了解决网络传输中服务端数据处理的延迟而产生的。其将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中
RDMA技术浅析概述产生背景标准组织技术优势零复制内核旁路CPU压力卸载基于消息的事务“多对多”通信支持 概述RDMA（Remote Direct Memory Access）也即远程直接内存访问，是一种相比传统TCP/IP技术更加精简的网络技术，可以实现数据直接从一个通信节点的内存传输到另外一个通信节点中，且无需通信双方的操作系统介入。产生背景传统网络大多使用TCP/IP协议栈处理网络数据，网
转载
2024-01-12 05:52:22
146阅读
访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运...
转载
2021-01-20 10:54:00
648阅读
2评论
RDMA的学习环境搭建 RDMA需要专门的RDMA网卡或者InfiniBand卡 环境，softiwarp ， - 这是加载地址：https://github./zrlio/s...
转载
2021-01-19 21:19:00
2935阅读
2评论
相关说明书：mlnx3、mlnx4、mlnx5……https://docs.mellanox.com/spaces/viewspace.action?key=MLNXOFEDv512620
原创
2021-09-28 09:42:28
778阅读
相关说明书： mlnx3、mlnx4、mlnx5……
转载
2021-06-08 10:16:00
251阅读
2评论
什么是计算机Computer:全称电子计算机，俗称电脑。能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件和软件所组成常见的形式有台式计算机、笔记本计算机、大型计算机等。广泛应用在：科学计算，数据处理，自动控制，计算机辅助设计，人工智能，网络等领域 硬件及冯诺依曼结构 计算机硬件 一些物理装置按系统结构的要求构成 装机CPU Memory(
目录说明1. RDMA的学习环境搭建2. RDMA与socket的类比3. RDMA服务器的代码流程4. 关闭连接实例说明1. RDMA的学习环境搭建RDMA需要专门的RDMA网卡或者InfiniBand卡才能使用，学习RDMA而又没有这些硬件设备，
原创
2021-09-28 09:45:04
1615阅读
什么是RDMA？ 1. 概述 RDMA是Remote Direct Memory Access的缩写，通俗的说可以看成是远程的DMA技术，为了解决网络传输中服务器端数据处理的延迟
转载
2018-07-01 11:03:00
735阅读
2评论
背景传统的TCP/IP技术在数据包处理过程中，要经过操作系统及其他软件层，需要占用大量的服务器资源和内存总线带宽，数据在系统内存、处理器缓存和网络控制器缓存之间来回进行复制移动，给服务器的CPU和内存造成了沉重负担。尤其是网络带宽、处理器速度与内存带宽三者的严重"不匹配性"，更加剧了网络延迟效应。DMADMA(直接内存访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运不需
原创
2022-10-17 21:04:19
498阅读
背景从网络方面来说，数据中心的两个基本目标是提供higher bandwidth和lower latency。而传统的TCP/IP协议栈由于其设计复杂性会导致高延迟，以及其高CPU开销，这些都是数据中心不希望的。随着RoCE协议的提出，RDMA在数据中心开始被广泛采用。
原创
2021-09-28 18:48:58
1114阅读
原文：https://zhuanlan.zhihu.com/p/138874738 本想完全靠自己的语言完成这篇概述，然而开篇并没有想象当中的好写，看样子从宏观上概括一个技术比从微观上探究细枝末节要困难不少。本文是以前人们对RDMA技术的介绍为主，加入了一些自...
转载
2021-01-21 14:26:00
717阅读
2评论
目录1.Comparing JSOR with Java TCP communications2.Comparing JSOR to Java Sockets Direct Protocol (SDP) communications3.JSOR features and design3.1 JSOR Desgin3.2 JSOR Zero copy function4. JSOR li
转载
2023-08-07 15:34:54
158阅读
