大模型的瓶颈早已不在单张 GPU 的算力，而在成千上万张 GPU 如何高效通信。业界流传着一句话：「AI 集群的瓶颈不在于 GPU，而在于网络」。一个典型案例：某大模型训练任务用 profiling 抓性能，发现大量时间耗在 ncclAllReduce 和 ncclAllGather 上，通信占比接近 40%。

而当前承载这张「GPU 之间的高速公路」的主流方案，就是 RoCE（RDMA over Converged Ethernet，基于融合以太网的远程直接内存访问）。它让 GPU 绕开 CPU、零拷贝直传数据，把大模型的「数据搬运」成本打到最低。

几个数字感受一下这张网络的强度：

• 一台 8 卡 GPU 服务器，插 8 块 400G 网卡，单机网络带宽可达 3.2Tbps
• 以 64 端口 400G 交换机为例，两层 Fat-Tree 即可组出 1024 张 GPU 的无阻塞集群
• 8×400Gbps RoCE 网络下，Mooncake Transfer Engine 的 KV Cache 传输速度实测高达 190GB/s
• 腾讯星脉网络 2.0 单集群已支持 10 万张 GPU 互联，服务超 80% 的头部大模型企业

本文把 RoCE 网络的原理、架构与通信机制一次讲透：它是什么、为什么能跑这么快、GPU 之间到底怎么「对话」、以及部署时怎么设计。

一、为什么大模型部署离不开高速网络

训练：梯度同步是刚性需求

大模型训练采用分布式并行：数据并行下，每张卡算完自己的梯度后必须做 AllReduce 梯度同步，参数才能更新。模型越大、卡越多，同步的数据量越大、频次越高。梯度同步慢一秒，几千张卡就集体空转一秒——网络带宽直接决定训练吞吐上限。

推理：通信从「偶发」变成「常态」

推理侧的通信压力来自三处：

1. MoE 专家并行的 All-to-All：每个 token 按路由规则分发到不同专家 GPU，token 要在 GPU 之间「多对多」双向搬运，对延迟极其敏感（DeepSeek 等 MoE 架构放大了这一需求）
2. PD 分离的 KV Cache 传输：预填充完成后，几 GB 到几十 GB 的 KV Cache 要跨机搬到解码节点，吃带宽吃得很凶
3. 多机张量并行 / 长序列切分：模型切到多机后，每层计算都伴随跨机通信

传统网络的短板

传统 TCP/IP 栈的问题很明显：数据要在内核态和用户态之间反复拷贝、要经过 CPU 层层处理——CPU 成了通信瓶颈，GPU 的算力被浪费在等待上。RoCE/RDMA 正是为此而生。

二、RoCE 是什么：把 RDMA 搬上以太网

RDMA：远程直接内存访问

RDMA 的三大杀招：

能力	含义
内核旁路	数据绕开操作系统内核协议栈，网卡（RNIC）直接收发
零拷贝	数据从发送方内存直达接收方内存，不经过 CPU 和中间缓存
CPU 卸载	协议处理全部交给网卡硬件，CPU 去做更有价值的事

RDMA 通信基于 QP（Queue Pair，队列对）：一对发送/接收队列构成一条逻辑链路，应用直接对 QP 发起读写请求，网卡异步完成——这是它与「socket + 内核协议栈」的本质区别。

RoCEv1 与 RoCEv2

RoCE 把 RDMA 能力移植到了普通以太网上：

版本	封装	特点
RoCEv1	二层以太网帧	只能在同一二层域内通信，受限
RoCEv2	UDP/IP 封装（目标端口 4791）	可跨子网路由，成为 AI 集群事实标准

RoCEv2 的价值一句话：用便宜的以太网基础设施，拿到接近 InfiniBand 的 RDMA 性能。这也是 Meta、腾讯、阿里等大厂自建 AI 网络普遍选它的原因。

三、无损网络三件套：PFC、ECN、DCQCN

RDMA 对丢包零容忍——丢一个包重传，性能就断崖下跌。而以太网天生是「尽力而为」的，拥塞时会丢包。于是 RoCE 引入了无损以太网机制，靠三件套协同工作：

1. PFC（优先级流量控制）：链路级反压

交换机队列快满时，向上一跳发送 XOFF（暂停） 帧，让上游暂停发送；有空间了再发 XON（恢复）。逐跳反压，保证不丢包。

2. ECN（显式拥塞通知）：拥塞预警

队列深度超过阈值时，交换机在 IP 包头上打 CE（拥塞经历）标记，把拥塞信号端到端带回发送方。

3. DCQCN：源端降速

发送方网卡收到 ECN 标记后主动降速，拥塞缓解后再逐步回升。ECN + DCQCN 构成「端侧拥塞控制」，是 RoCEv2 防止拥塞崩溃的核心。

四、集群组网拓扑：Fat-Tree 与 Rail-Optimized

1. Fat-Tree（胖树）：带宽不收敛的 CLOS 架构

Fat-Tree 是完全对称的多层架构，核心特征带宽不收敛（1:1 无阻塞）：任何两台服务器之间都有足量并行路径。以 64 端口 400G 交换机为例：

架构层级	最大 GPU 数量	交换机数量	适用场景
两层 Fat-Tree	1,024 张	64 台	千卡集群
三层 Fat-Tree	更多（数万张）	数百台	万卡集群

2. Rail-Optimized（轨道化组网）：为 AI 流量定制

AI 集群的流量有强烈的「流向偏好」：同服务器内 8 卡先走 NVLink 高速互联，跨服务器时同卡号的 GPU 之间通信最多。轨道化组网让同卡号的 GPU 挂在同一组（Rail）交换机上，同类流量一跳直达，彻底绕开传统 ECMP 哈希极化的顽疾：

• Rail-Optimized：不同 Rail 通过 Spine 交换机互通，跨服务器不同卡号的 GPU 也可一跳直达
• Rail-Only：无 Spine，跨卡号通信需本机 NVLink 中转，多一跳开销

五、GPU 之间如何通信：集合通信原语与并行策略

GPU 集群的「语言」是 NCCL（NVIDIA Collective Communications Library）定义的集合通信原语：

通信原语	行为	对应场景
AllReduce	所有卡求和后广播，每卡得到完整结果	数据并行梯度同步、张量并行
Reduce-Scatter	求和后按卡切分分发	ZeRO 优化器梯度规约
AllGather	每卡数据拼齐后广播给所有卡	序列并行、流水线并行
All-to-All	每卡向所有卡分发不同数据（多对多）	MoE 专家并行的 token 路由
Broadcast / Scatter / Gather	一对多 / 多对一	参数分发、初始化

并行策略与通信的映射关系：

并行策略	主通信模式	特点
数据并行 DP	AllReduce	梯度同步，随卡数增长压力上升
张量并行 TP	AllReduce	每层都通信，频次高，适合机内 NVLink
流水线并行 PP	点对点	相邻阶段传递激活，有「气泡」
专家并行 EP（MoE）	All-to-All	token 多对多路由，延迟敏感
序列并行 SP	AllGather/Reduce-Scatter	超长序列切分

两个关键加速手段：

• 拓扑感知：NCCL 感知 NVLink / PCIe / 网络三级层级，机内走 NVLink、跨机走 RDMA，自动选最优路径；Ring AllReduce、树形算法按拓扑动态切换
• GPUDirect RDMA：跨节点数据从 GPU 显存直达对端 GPU 显存，完全绕过 CPU，端到端延迟可降低约 50%

六、推理场景的 RoCE 通信：KV Cache 传输与 MoE

推理与训练的通信画像完全不同：

维度	训练	推理
通信模式	集合通信（AllReduce 等）	点对点大块传输 + All-to-All
流量形态	长时高带宽、规律性强	突发性强、对延迟更敏感
典型负载	梯度同步	KV Cache 迁移、token 路由
关键要求	总带宽（影响吞吐）	首包延迟 + 带宽（影响 TTFT/TPOT）

推理侧两大通信主角：

1. KV Cache 跨机传输：Transfer Engine 与 NIXL

PD 分离架构下，KV Cache 搬运直接决定架构成败：

• Mooncake Transfer Engine：向上层屏蔽 TCP、RoCE、IB、EFA 等底层网络差异，提供批量传输、零拷贝、GPUDirect RDMA、多网卡聚合、GPU/CPU/SSD 分层存储；在 8×400Gbps RoCE 网络下实测传输速度高达 190GB/s
• NVIDIA NIXL：Dynamo 推理框架的传输库，支持 GPUDirect RDMA 与网络化存储，把 KV Cache 从预填充节点零拷贝搬到解码节点，并与计算重叠

2. MoE 的 All-to-All 通信

MoE 架构的每一层，token 都要在专家 GPU 之间 All-to-All 路由。通信延迟直接叠加在每一个解码 step 上——所以推理集群对网络延迟抖动比训练更敏感，这也是 RoCE 推理网络要重点治理 Incast 和 PFC 风暴的原因。

七、RoCE vs InfiniBand：怎么选？

维度	InfiniBand	RoCEv2
本质	原生 RDMA 专用网络	以太网上的 RDMA
性能	延迟最低（微秒级），生态成熟	接近 IB，延迟略高
成本	高（专用交换机/线缆/封闭生态）	低（标准以太网设备）
开放性与运维	封闭，需专人维护 SM 等	开放，运维体系成熟
无损保障	原生无损、自愈	依赖 PFC/ECN 调优
适用	极致性能、千亿/万亿参数训练	性价比路线、推理与中等规模训练

行业趋势很清晰：大厂普遍走「自研白盒交换机 + RoCEv2 无损网络」路线，用开放生态和规模化采购摊薄成本；IB 仍占据对极致延迟有要求的头部训练市场。

八、业界实践：星脉、HPN 与白盒交换机

国内大厂的 AI 网络几乎都是「自研白盒交换机 + 极致无损优化」的组合：

厂商/方案	关键设计
腾讯星脉	多轨道（Rail）组网 + TCCL/GOR 端网融合协同，解决哈希极化、拓扑盲点与拥塞抖动；星脉 2.0 单集群支持 10 万 GPU，服务超 80% 头部大模型企业
阿里 HPN	AIPod 采用 8 导轨网络架构，GPU 同卡号同轨设计
百度百舸	自研 HPN 高性能网络
Meta	为其 AI 数据中心定制网络，最终选择 RoCEv2 路线

共性是：轨道化组网 + 1:1 无阻塞 + PFC/ECN 精细调优 + 端网融合，把以太网「调教」成接近专用网络的确定性。

九、部署设计要点（八条）

1. 带宽先行规划：按「单卡对外带宽 ≥ 单机内部聚合需求」规划网卡，8 卡机标配 8×400G 网卡，预留 800G/1.6T 演进空间
2. 收敛比坚持 1:1：AI 集群网络绝不收敛，任何一层带宽打折都会在 AllReduce 时被放大为全集群等待
3. 轨道化组网：优先 Rail-Optimized 拓扑，从源头消灭 ECMP 哈希极化
4. PFC/ECN 协同调优：只给 RDMA 队列启用 PFC，阈值与缓冲精细配置；ECN 标记阈值与 DCQCN 参数联合调优，防 PFC 风暴
5. 双平面设计：RDMA 业务平面与管理/存储平面物理隔离，避免流量互扰
6. 开满 GPUDirect RDMA：确认网卡、驱动、NCCL 全链路支持，跨机通信必须绕过 CPU
7. 全链路可观测：丢包、ECN 标记率、PFC 暂停帧计数、QP 排队深度都要有实时监控——AI 网络的排障依赖端网联动的立体监控
8. 推理网络专项治理：Incast 防护、流量整形、时延抖动监控，为 KV Cache 传输和 MoE All-to-All 保住确定性

十、写在最后

RoCE 网络的故事，本质是用开放的以太网生态，逼近专用网络的确定性：内核旁路把 CPU 请出数据通路，PFC/ECN 把「尽力而为」改造成「零丢包」，Fat-Tree 和轨道化组网把「随机拥塞」重构成「可预期的并行路径」。看懂这套组合拳，就看懂了大模型集群「堆卡」之外的另一半硬功夫。

关于向量云：不必自建 RoCE 集群，也能享受高效推理

RoCE 网络的隐性成本极高：交换机选型、无损调优、轨道化组网、端网联调，每一项都需要资深网络团队。对绝大多数应用团队来说，自建推理集群的网络基建既不经济也不必要。向量云（向量云南京科技有限公司）依托字节跳动火山方舟官方授权，把大模型推理的「网络 + 算力 + 调度」全部打包成开箱即用的服务：

向量云能力	说明
官方授权接入	火山方舟官方授权，提供官方 API 与官方 Key
低折扣 Token	专属折扣价，用量越大越划算
独享接入点	独立接入点，配额与稳定性更有保障
缓存隔离降本	缓存隔离机制，把缓存命中红利吃到最大
计费灵活	按量计费、即用即扣、不设账期，注册充值 10 元起
协议兼容	OpenAI 兼容协议，业务代码几乎零改动

接入方式：注册后获取官方 API Key，把 base_url 指向向量云接入点即可直接调用火山方舟官方模型——网络的复杂性交给平台，稳定性和成本优势留给你的业务。