AI存储网络接口的速度之争

AI存储网络接口的速度之争

AI存储网络接口分为外部接口和内部接口。内部接口包括常见的PCIe，英伟达的NVLink，AMD 的Infinity Fabric和Intel的Xe Link等，目前内部接口还在铜缆互联的阶段，以后我们可以专门用文章讲一讲内部接口的光互联发展趋势。外部接口包括以太网、Infiniband、Fiber Channel、SAS，这些网络早已使用光模块进行互联，下面我们一起来以光模块的视角来探讨一下不同网络的应用。这里需要说明的是，由于光模块是透传数据，不在意网络类型。网络技术的最小单位帧则是以0和1的排列组合构成，光模块只根据主机的信号传输0和1。所以客户在购买光模块时，只需关注的是：工作速率，封装形式和传输距离。本文也是从这三个方面来讨论。为了便于记忆，本文提及的速率均取整数。

 1.以太网

以太网的协议我们之前整理过，这里不在赘述。目前以太网最高速率800G和1.6T的协议还在制定中。根据大成鹏的客户的实际使用情况，目前AI算力使用是400G和200G为主，AI存储则以200G为主。400G封装形式为OSFP、QSFP-DD和QSFP112，200G封装形式为QSFP-DD和QSFP56，根据主机接口封装类型决定。传输距离：多模光纤100米使用多模光模块，单模光纤500m和2km使用单模光模块，机柜内部3米使用无源铜缆DAC，服务器/存储主机和TOR交换机互联使用有源光缆AOC在30米内。表1为以太网网络的速率类型发展。

序号	标识	速率	封装	速率*电信道数组合
1	FE	100Mbps	SFP	100M*1
2	GE	1Gbps	SFP	1G *1
3	10GE	10Gbps	SFP+	10G *1
4	25GE	25Gbps	SFP28	25G *1
5	40GE	40Gbps	QSFP+	10G *4
6	50GE	50Gpbs	SFP56	50G *1
7	100GE	100Gpbs	QSFP28	25G *4
8	200GE	200Gpbs	QSFP56	25G *8
			QSFP-DD	50G*4
9	400GE	400Gpbs	QSFP-DD	50G *8
			OSFP	100G *4
			QSFP112	100G*4

表 1

 2.Infiniband

目前IB网络最高速率800G。根据大成鹏的客户的实际使用情况，目前AI算力使用是800G和400G为主，AI存储则以400G和200G为主。800G和400G的封装形式IB均指定为OSFP，200G的封装形式IB指定为QSFP56。传输距离：多模光纤100米使用多模光模块，单模光纤500m和2km使用单模光模块，机柜内部3米使用无源铜缆DAC，服务器/存储主机和TOR交换机使用有源光缆AOC在30米内。表2为IB网络的速率类型发展。

序号	速率标识	速率	封装	速率*电信道数组合
1	SDR	每通道2.5Gbps	CX4	2.5G *4
2	DDR	每通道5Gbps	CX4	5G *4
			QSFP+	5G *4
3	QDR	每通道10Gbps	QSFP+	10G*4
			CXP	10G*12
4	FDR	每通道14Gbps	QSFP+	14G*4
			CXP	14G*12
5	EDR	每通道25Gbps	QSFP28	25G*4
			CXP2	25G*12
6	HDR	每通道50Gbps	QSFP56	50G*4
7	NDR	每通道100Gbps	OSFP	100G*4
8	XDR	每通道200Gbps	OSFP	200G*4

表 2

 3.Fiber Channel

按照之前的规划，第8代128GFC应该会在2021年间完成标准制定，但实际上推出时间一延再延，直到2024年的今天，仍未实际问世。目前最高速率为2018年制定完成的第7代64GFC，但是应用进展依旧十分缓慢。根据大成鹏的客户反馈情况，目前AI存储不会使用FC网络，国内设备主流还停留在16GFC和32GFC，速率跟不上算力需求。16GFC和32GFC使用的封装为SFP28。传输距离：主要为多模光纤100米使用多模光模块。表3为FC网络的速率类型发展。

序号	标识	速率	封装	速率*电信道数组合
1	1GFC	1Gbps	SFP	1G*1
2	2GFC	2Gbps	SFP	2G*1
3	4GFC	4Gbps	SFP	4G*1
4	8GFC	8Gbps	SFP+	8G*1
5	16GFC	14Gbps	SFP+	14G*1
6	32GFC	28Gbps	SFP28	28G*1
7	64GFC	56Gbps	QSFP+	14G*4

表 3

4.SAS

SAS可以作为存储设备内部接口，也可以作为外部接口。目前SAS接口最新规格是2017年制订的SAS-4，也就是24G SAS。依照原本的路线图，下一步的发展应该是带宽加倍的SAS-5，即48G SAS。但负责制定规格的SCSI贸易协会（SCSI Trade Association，STA），在2023年底，提出异于原本路线图的规画，放弃48G SAS这条提高带宽的路线，改为沿用既有的24G SAS物理层，搭配强化上层协议可靠性、安全性与效率的24G+ SAS，但是按照光模块的传输原理，SAS-4和SAS-3的数据传输并无差异。SAS作为外部接口互联的封装为Mini SAS，并且主要采用的是有源光缆AOC和无源铜缆DAC的产品形态。表4为SAS网络的速率类型发展。

序号	标识	速率	封装	速率*电信道数组合
1	SAS-1	每通道	Mini SAS	6G*4
2	SAS-2	每通道	Mini SAS	12G*4
3	SAS-3	每通道	Mini SAS	24G*4
4	SAS-4	每通道	Mini SAS	24G*4

表 4

综合以上可以直观的看到，在AI存储领域，FC和SAS网络接口已经远远的赶不上以太网和IB。目前仍旧是以太网和IB的直接竞争，现阶段在IB优秀的RDMA能力下，已经取得技术的领先优势。针对IB的崛起，以太网制定了RoCE协议，把InfiniBand的RDMA传输架构移植到以太网络中，使得RoCE兼具RDMA的低延迟与以太网的低成本特色。但是其RDMA在拥堵控制、负载平衡等方面，仍有一系列不足。所以去年成立的超以太网联盟需要制定新的协议取代现有RoCE协议，透过新的传输层来改善雍塞管理，并减少延迟等，超以太网联盟计划于今年三季度推出新的标准。