ETH-X（PAXI）首个开放scale up协议测试报告

随着大语言模型规模的持续增长和相关应用的广泛普及，智算芯片对算力的需求呈现指数级增长，进而推动了芯片底层互联技术的迅猛发展。智算芯片互联技术正面临带宽、时延、架构等多维度的系统性挑战。从产业实践来看，随着算力集群从传统多卡直连模式向超节点组网形态演进，现有卡间互联协议在传输效率、协同能力等方面的短板日益凸显，已难以匹配算力规模扩张与应用场景深化的双重需求，成为制约算力基础设施高质量发展的关键瓶颈。

01 以太Scale Up首款支持内存语义的传输层IP

ETH-X是基于以太技术扩展的Scale Up互联技术。ODCC AI网络实验室在ETH-X体系下推出了第一款支持以太Scale Up网络的传输层协议的IP解决方案——ETH-X PAXI。该协议设计不仅支持内存语义,还具备低延迟、高带宽和高可靠性的特点，能够满足多达256/512卡的全互联,支持使用通用以太网交换机组网。

主要特点:

支持内存语义操作,软件易用,多卡可当作一卡来使用;

低协议延迟,PAXI+Ethernet MAC/PCS/FEC+Serdes <150ns;

支持通过通用以太网交换机完成组网;

高可靠性,通过L1/L2Retry特性,200G/400G/800G支持10-E-27的误码率;

高带宽,高带宽利用率,以太网带宽利用率可达99%以上,支持超频带宽10%;

跨交换机实现端到端的流量控制;

支持一次交换转发完成256/512卡组网;

02 ETH-X PAXI 原型测试性能结果

原型验证平台支持高性能网络协议栈，包括当前数据中心网络广泛使用的RoCEv2协议，以及适用于ETH-X PAXI协议。4台主机原型各自通过一个400G端口与交换机相连，可用来测试一对一、一对多、多对一、多对多不同场景下的通信能力。

组网连通性测试分别测试基于PAXI的ETH-X报文基础联通性能，验证协议的传输效率、通信时延、通信带宽，以及集合通信性能。

a 协议承载效率测试结果

在报文承载效率测试中，PAXI在小荷载(128Byte)时承载效率优于RoCEv2.PAXI 的承载效率随有效载荷大小增加稳步提升，且始终保持在较高水平，性能表现优异，并不逊色于 RoCEv2。

b 单向时延测试结果

单向时延测试结果显示，端到端单向时延经间接测量为893.91 ns，ETH-X PAXI IP时延157.41ns。

c 基础吞吐测试

基础吞吐测试表明，PAXI的读、写吞吐量随有效载荷大小增加而提升，1K MAC报文读写吞吐分别达到带宽容量的91.25%、91.5%，均接近带宽上限。

d Dispatch、Combine测试结果

在Dispatch/Combine算子测试中，PAXI在小包数据(MAC 帧长 1K)传输时端到端传输时间(FCT)更优，保持极大优势;RDMA的时间开销主要在控制通路且与数据量关联有限。

e All2All性能结果

在All to All通信场景下，PAXI相比RDMA具有更短的RTT与更高的带宽，小有效载荷时性能优势尤为显著，且随有效载荷增大，PAXI 带宽持续提升并保持良好表现。

03 展望

ETH-X PAXI是首款用于以太Scale Up网络上的传输层IP，支持GPU间内存语义直接访问，在原型样机中展示出的结果符合预期，且优于RoCEv2实现。为进一步拓展能力边界，未来ODCC AI网络实验室将从多维度推进优化。一方面将开展 E2E Retry、LLR 等可靠性测试，结合多种流控手段覆盖复杂拥塞场景验证，同时适配更多厂家交换机、增加节点数量以完成复杂组网测试;另一方面在端口类型支持上，除现有 400G外，将新增200G、800G 等规格适配。后续ETH-X PAXI将持续迭代演化，致力于提供更大规模、更高效的 GPU 互联能力。

联系人：

信 通 院  王老师 wangshaopeng@caict.ac.cn

信 通 院  孙老师 suncong@caict.ac.cn