InfiniBand 有个让人羡慕的特性:链路天生无损,credit-based 流控做在硬件里,不需要你教交换机怎么排队。代价是那是一整套得另起炉灶的网络——另一种交换机型号、另一批光模块、另一套运维技能。

RoCEv2 讲的是它的另一半:同样把 RDMA 跑起来,但跑在你已经有的以太网上。所谓性价比就在这句话里——不必为了 RDMA 再建一张网。

便宜不是白来的。以太网从来不保证不丢包,交换机缓存满了就丢;而 RDMA 的传输层没有 TCP 那套重传——丢一个包,队列对(QP)直接进错误态,上层看到的是卡死,不是变慢。IB 把无损做进了链路层,RoCEv2 得你自己一层一层补出来。

入门时间本身就是这笔账的一部分:IB 大约一小时能讲明白,子网管理器把地址、路由、流控全包了;RoCEv2 得按一个月算——打标、映射、队列、门限、四处编号对齐,每一层都得自己盯着。

一句话概括:IB 贵,贵出来的那部分钱买的是「运维简单」;RoCEv2 省下的设备钱,会在调优和配置一致性上还回去。

本文是 RDMA 系列的第四篇。前几篇分别拆了 RDMA 技术手册、RDMA 技术栈全解 和 RDMA 全链路拆解:从 verbs 到硬件再到训练平台落点——那些讲的是 RDMA 本身怎么工作,这篇讲承载它的那张以太网要怎么改造成无损的。

一个 POC 的教训

有个案例我一直记得。两台机器打 ib_write_bw,单流贴着 200G 线速,漂亮得像验收报告。接上 NCCL 跑 all-reduce,吞吐掉到一半,而且掉得不规律:有时能跑满,有时卡十几秒。

查了两天,是交换机端口少配了 trust dscp——DSCP 26 的报文没被映射进无损队列,PFC 根本没在管它。两端都开着 PFC,中间没人把包送进该进的队列。

这个案例概括了 RoCEv2 的全部难点:不是某个组件不会配,而是它们之间没对齐。


一、先把名字钉死:RDMA、IB、RoCE 与 v1/v2

名词 是什么
RDMA 一种访问方式:网卡直接读写对端内存,数据不进内核缓冲区,CPU 不负责搬运
IB 一整套专为此设计的网络:自己的链路层、网络层、传输层、子网管理器和线缆
RoCE 把 RDMA 的传输层报文装进以太网帧,让它跑在通用以太网上——名字本身就是答案

v1 与 v2 的分野

项 RoCEv1 RoCEv2
封装 IB 传输层直接进以太网帧 IB 传输层 → UDP → IP → 以太网
标识 Ethertype 0x8915 UDP 目的端口 4791
三层路由 不可路由 可路由,可走 ECMP
广播域边界 跨不过去 不受限

多套一层 UDP/IP 是有代价的——净荷比例被削掉一点。换来的是能路由、能规模化,这笔交换在几乎所有生产环境里都划算。

最值得盯的一行

网卡 GID 表里,同一个地址占两个相邻索引:前一个 v1,后一个 v2。

很多「配了 RoCEv2 却不跨三层」的问题,根因就是索引选错——你以为在用 v2,实际走的是 v1。判读方法:

show_gids 里同一列地址出现两次、VER 分别写 v1 和 v2、且 v2 那行带 IPv4 地址的,才是你要的索引。
索引 0/1 是链路本地默认 GID(fe80:: 开头),一般不是业务地址。


二、无损三件套:PFC、ECN、DCQCN

带宽这一栏两条路线完全一样:200 Gbps 就是 200 Gbps。差别全在丢包。

以太网想跑 RDMA,必须先被改造成不丢包的网络,工具箱叫 DCB(Data Center Bridging)。真正干活的是三样东西:

基石 管的尺度 在哪工作、何时触发 代价与边界
PFC 突发 逐跳链路层;队列越过 XOFF 就向上游发 PAUSE 反压会顺着链路往外传,严重了成死锁
ECN 持续拥塞 交换机打标 → 接收端回 CNP → 发送端降速 依赖端到端都支持,门限挑设备
DCQCN 把信号翻译成速率 发送端网卡;收到 CNP 立刻降速 参数随固件版本变,必须自己回读
优先级映射 让报文先进对队列 网卡与交换机入口 严格说不属"基石",但它错了一切白搭

一句话记住分工:PFC 管一瞬间,ECN 管一阵子,DCQCN 管怎么把速度降下来、再小心翼翼地升回去。

2.1 PFC:逐优先级地向上游喊停

PFC(Priority-based Flow Control,IEEE 802.1Qbb)做的是链路层反压,但比老式以太 PAUSE 聪明一点:暂停的单位是优先级,不是整条链路。

运行顺序:

  1. 水位——接收侧每个端口按优先级各自排队,报文持续涌入,某个队列水位往上爬。
  2. 触发——水位越过 XOFF 门限那一刻,接收侧朝直接上游发 PAUSE 帧,帧里带优先级号和暂停配额。
  3. 生效——上游收到后,只停这一个优先级,其余七个照常走。
  4. 排空与恢复——下游继续转发,水位回落到 XON 之下再发配额为零的 PAUSE 解除;就算解除帧丢了,暂停配额耗尽也会自动恢复。

两个决定"是保护还是灾难"的参数:

① headroom。 从「接收侧决定发 PAUSE」到「上游真正停下」,中间有一段时间:PAUSE 帧要在链路上走一趟,上游处理要时间,更重要的是线上还飞着已经在途的报文。这段时间的在途报文加 MTU,就是 headroom 必须预留的空间。

留不够,刹车还没生效,包已经先丢了——那时 PFC 开着等于白开。headroom 按链路速率、线缆长度与 MTU 算出来,不是拍脑袋填的,也不能跨交换机型号抄。

② 给谁开。 把八个优先级全开 PFC 看起来最保险,实际最危险:任何一类流量的拥塞都会触发暂停帧,把毫不相干的流量一起堵住,还会显著抬高死锁概率。正确做法是只给承载 RoCE 的那一个优先级开。

PFC 的两个老毛病:队头阻塞(一个优先级被暂停时,共享同一端口缓冲的其他流量也可能被打到)与反压传播(暂停是逐跳的,一条链路的拥塞能顺着路径一级级传出去)。

「无损」不等于「不丢包」。 PFC 只保证链路这一段不丢。网卡接收缓冲区、PCIe 通道、驱动队列都可能丢。验收只盯 pause 计数会漏掉端侧。

2.2 ECN:在队列被塞满之前先打声招呼

PFC 是「已经快满了,你停下」。ECN(RFC 3168)要解决的是:能不能别等到快满。

它借用 IP 头里的两位做标记,流程绕一圈:

  1. 发送端把报文标记为 ECT(支持 ECN 的意思),正常发出。
  2. 交换机看队列,深度超过标记门限时,按概率把 ECT 改写成 CE——注意是改写,不是丢弃,报文照常转发。
  3. 接收端网卡看到 CE,生成 CNP 回报发送端。
  4. 发送端收到 CNP,据此降速。

四个决定它能不能用起来的细节:

  • 标记是概率性的。 交换机走 RED/WRED 那套:队列越深,被打标概率越高;超过上界就直接丢弃。所以**「有标记」是好事**,说明 ECN 这道闸在正常工作。
  • 接收端不是每个 CE 都回 CNP——那会让自己变成一场新的风暴。实现里有最小间隔做节流。
  • CNP 自己不能被丢。 它是几十字节的小报文,通常给它单独一个 DSCP(常见 48)并走严格优先队列。它要是丢了,调速信号就断了。
  • 要有发电厂。 如果队列深度还没到 ECN 门限、突发却已经把水抬起来了,ECN 来不及反应,那一刻还是靠 PFC 兜住。所以 PFC 不能拆。

2.3 DCQCN:把 CE 信号翻译成一条速率曲线

ECN 只告诉你「堵了」,没说该降到多少、什么时候能回升。这件事由 DCQCN 做——出自 2015 年 SIGCOMM,Microsoft 与 Mellanox 联合发表,如今是多数 RoCE 网络的默认拥塞控制。

它把三方分了角色:

角色 是谁 干什么
CP(Congestion Point) 交换机 概率打标
NP(Notification Point) 接收端 生成 CNP
RP(Reaction Point) 发送端 调速率

前两节讲的就是 CP 和 NP;DCQCN 真正定义的是 RP 的行为。

发送端的速率调整只有两个方向,但完全不对称:

往下降,一步到位。 收到一个 CNP 就更新 α(拥塞程度的 EWMA 平滑,不是瞬时判断),然后按 速率 = 速率 × (1 − α/2) 降一档。α 接近 1 时几乎直接砍半。这个「降得快」是刻意的——拥塞发生时,反应慢半拍比降过头更危险。

往上升,小心翼翼。 一段时间没收到 CNP 才触发一次提速,且分阶段:先做若干次快恢复(向目标速率折半靠拢),如果还是没有 CNP,切成加性增(每个周期只抬一小截);恢复初期还有一种更激进的上抬模式。

为什么这么磨蹭?因为发送端判断「没事了」的唯一依据就是「没收到 CNP」,而这个信息本身就是滞后的——冲太猛,下一轮 CNP 立刻就到,吞吐震荡。

⚠️ 参数这件事:论文值与固件默认值不是一回事

流传的说法常引用论文推荐量级(α 更新周期约 55 µs、字节计数阈值约 150 KB)。但落到实际网卡上,固件默认值是另一套数。

已核实的 NVIDIA DOCA 官方 DCQCN 参数页(ConnectX-4 及以后)给出的实际默认值:

参数 官方默认值 含义
DcQcnDceAlphaUpdatePeriod(DCE_TCP_RTT) 1 µs α 更新周期
DcQcnDceAlphaG(DCE_TCP_G) 1019 α 的 EWMA 系数(定点,10 位小数)
DcQcnInitialAlphaValue 1023 首个 CNP 的初始 α
DcQcnRateReduceMonitorPeriod 4 µs 两次降速之间的最小间隔
DcQcnMinDecFac 50(%) 最大降速比例
DcQcnTimeReset 300 µs 两次提速事件之间的时间
DcQcnByteReset 32767 × 64 B ≈ 2 MB 两次提速事件之间的字节计数
DcQcnAiRate / DcQcnHaiRate 5 / 50 Mb/s 加性增 / 快增速率
DcQcnCnpDscp 48 CNP 报文的 DSCP(文中"常见 48"得到确认)
DcQcnMinTimeBetweenCnps 4 µs 两个 CNP 之间的最小间隔

注意 α 更新周期:论文量级 55 µs,而 NVIDIA 固件默认是 1 µs——差了 55 倍。 字节计数阈值同样对不上(论文量级 150 KB,固件默认约 2 MB)。

这不是谁写错了,而是论文的推荐值、厂商的固件默认值、你现场该设的值,是三个不同的东西。照抄任何一张现成的参数表都是这个领域最常见的踩坑方式——因为那张表很可能来自不同固件、不同网卡型号、不同收发距离。

上线前的动作:拿 mlnx_qos、mlxconfig 或对应厂家的参数查询命令,把这几个值在自己的机器上回读一遍再决定改不改。

三者的协作顺序

ECN 必须在 PFC 之前动作。 ECN 的标记门限要低于 PFC 的 XOFF 门限,让发送端在缓存还没见底时先减速。

顺序反了的现场特别好认:ECN 标记数几乎为零,PFC 的 pause 计数一路疯涨。


三、优先级必须处处对齐:打标、映射、队列

三大基石要生效有个前提:报文得先被分进那个开了 PFC、配了 ECN 的队列。这件事跨越三台设备、两个协议层,是全篇最容易出事的一段。

层 常见配错 现场表现
打标 应用或驱动用默认 DSCP 0 单流正常,并发时抖动剧烈
映射 端口没 trust dscp PFC 计数器长时间为 0,丢包照旧
队列 ECN 门限高于 PFC XOFF ECN 标记数极低,pause 计数疯涨
队列 ECN 门限设得过低 标记数暴涨,流量震荡、吞吐塌陷

打标层决定报文头上写什么。麻烦在默认值:不少驱动和应用的默认 DSCP 是 0,NCCL 的 NCCL_IB_TC 默认也是 0。指望默认值刚好落进无损队列,不现实。

映射层决定标记被翻译成哪个内部优先级:二层设备看 PCP(8 个优先级),三层设备看 DSCP(64 个值)。走三层就得让交换机信任 DSCP——不 trust dscp,报文按默认优先级进去,后面的 PFC 和 ECN 全落空。这正是开头那个 POC 卡了两天的原因。

队列层才是 PFC 和 ECN 生效的地方,ECN 门限必须低于 PFC XOFF 门限。

一句话验收法:看 PFC 的 TX 计数。长期为 0 或极低,说明链路靠 ECN 就稳住了,这是健康状态;如果它一路疯涨,别急着加缓存,先回头查 ECN 门限。


四、网卡侧:命令与回读

4.1 先读对 GID 表

1
2
3
4
# 查当前 RoCE 模式
cma_roce_mode -d mlx5_0 -p 1
# 按需切换:-m 1 是 v1,-m 2 是 v2
cma_roce_mode -d mlx5_0 -p 1 -m 2

一处「两说」:NVIDIA 官方论坛回复写过 mlx5 驱动配合 RDMA_CM 默认用 RoCEv2;也有技术文档描述为「默认可能运行在 RoCEv1,需要切到 v2」。两者不矛盾,取决于驱动版本与发行版,但对你的含义一样:别信默认值,跑一次查看命令确认。

4.2 QoS 与 PFC

1
2
3
4
5
6
7
8
9
10
# ① 按三层 DSCP 分类,而不是二层的 PCP
mlnx_qos -i ens1f0 --trust dscp

# ② 只在优先级 3 上开 PFC
# 8 个逗号分隔的值,从优先级 0 到 7,1 表示开启
mlnx_qos -i ens1f0 --pfc 0,0,0,1,0,0,0,0

# ③ 不带参数就是回读,必须跑一次
# 看 trust 状态、PFC 位图、UP 到 TC 的映射
mlnx_qos -i ens1f0

第三步不能省。 现场见过两边都「配了」PFC、优先级号却差一个的,报文根本没进同一个队列。

4.3 发端打标与拥塞控制开关

1
2
3
4
5
6
7
# 参数是 IP 头 ToS 字节而不是 DSCP 本身,换算是 DSCP 左移 2 位
# 104 >> 2 = DSCP 26
cma_roce_tos -d mlx5_0 -t 104

# 看当前哪些 TC 开了 DCQCN
mlxconfig -d mlx5_0 q | grep ROCE_CC
# ROCE_CC_PRIO_MASK_P1 255 ← 掩码 255 表示所有 TC 都开了

掩码可以收窄到只给数据优先级。CNP 报文的 DSCP 在 DCQCN 参数表里对应 DcQcnCnpDscp,官方默认 48,建议设成与数据不同的值并让它走严格优先队列。

4.4 三行验收

  1. mlnx_qos -i <dev> 回读里,trust 状态应是 dscp、目标优先级的 PFC 位应是 1
  2. show_gids 里给 NCCL 的那个索引,VER 必须是 v2
  3. ibdev2netdev 里 rdma 设备要对上业务网卡,不能对到管理口

五、交换机侧:三家对照

三家写法差别很大,目标完全一致。以下为配置示意,省略了 VLAN、路由、STP 等前置配置。

5.1 华为 CloudEngine:先定义模板,再挂到接口

1
2
3
4
5
6
7
8
9
10
11
12
13
system-view
# ① 定义 PFC 模板:指定在优先级 3 上做反压
dcb pfc mypfc
priority 3
quit
# ② 把模板挂到接口上
# mode manual 的含义是不走 DCBX 协商,两端手工对齐
interface 100ge 1/0/1
dcb pfc enable mypfc mode manual
quit
# ③ 提交并回读:预期回显里出现 default 3
commit
display dcb pfc-profile default

配套还有 ECN 门限、PFC 死锁检测、动态 ECN 门限、快速 CNP 标记等功能,官方《配置指南-智能无损网络》逐项列出。ECN 命令各版本写法有差异,以对应版本为准。

5.2 Cisco Nexus 9000:MQC 的三段式

官方验证设计用的是 MQC 三段式:分类归 type qos、排队与 ECN 归 type queuing、PFC 归 type network-qos。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# ① 分类:把 DSCP 24 的报文归进 qos-group 3
class-map type qos match-all class-q3
match dscp 24
policy-map type qos QOS_classification_policy
class class-q3
set qos-group 3

# ② 排队与 ECN:给队列 3 分带宽,并把标记打开
policy-map type queuing custom-8q-out-policy
class type queuing c-out-8q-q3
bandwidth remaining percent 60
# 这个区间必须落在 PFC 的 XOFF 门限之前
random-detect minimum-threshold 150 kbytes maximum-threshold 3000 kbytes drop-probability 7 weight 0
# 这一行才是真正把「标记」打开,漏了就只是普通丢包
ecn

# ③ PFC:指定针对 cos 3 做暂停
policy-map type network-qos custom-8q-nq-policy
class type network-qos c-8q-nq3
mtu 9216 # 无损网络跑巨帧
pause pfc-cos 3 # 只针对这一个优先级做反压

排队与 network-qos 策略用 system qos 全局挂,分类策略在接口 input 方向挂。

5.3 SONiC:命令短,靠 profile 说话

1
2
3
4
5
6
7
8
9
10
# ① 在接口上打开优先级 3 的 PFC
config interface pfc priority Ethernet0 3 on

# ② 给无损队列套一个 ECN profile
# gmin / gmax 是起标的队列深度下限与上限,单位是字节
ecnconfig -p AZURE_LOSSLESS -gmin 1048576 -gmax 2097152

# ③ 回读确认
show pfc counters
show ecn

AZURE_LOSSLESS 只是常见的一组内置 profile,换成你自己发行版的名字即可。

5.4 优先级取值:三个都对,关键是一致

来源 常用优先级值
思科验证设计 DSCP 24
很多华为侧部署 DSCP 26
另有 DSCP 48(通常留给 CNP)

三个值都对,关键是端到端一致——网卡打的标记、交换机信任的字段、进哪个队列、队列上开的是哪个优先级的 PFC,四处必须指向同一个编号。

5.5 PFC 死锁:三家都在用看门狗

死锁靠看门狗规避:监测某队列是否长期暂停又不排空,超过检测时间就人为干预,把该队列流量丢弃一段时间打断它,之后再恢复。

1
2
3
4
5
6
7
8
9
10
11
12
13
# NVIDIA Cumulus Linux
nv set interface swp1 qos pfc-watchdog ...

# SONiC
# --action drop 丢弃该队列流量,用来打断环路
# 200 检测时间,单位毫秒
# --restoration-time 200 干预之后等多久恢复
pfcwd start --action drop Ethernet0 200 --restoration-time 200

# Arista EOS
priority-flow-control pause watchdog default timeout 10
priority-flow-control pause watchdog default recovery-time 10
forced

三个参数:检测时间(卡多久算死锁)、恢复时间(干预后等多久放行)、动作(drop 丢弃以打断,forward 只用于调试)。华为侧对应的能力叫 PFC 死锁检测,命令以官方配置指南为准,生产环境建议默认开。

5.6 一条更基础的要求:把广播与组播挡在无损类之外

这条来自一个公开经典案例的修复动作——微软早年跑大规模 RoCE 时遇到过跨交换机 PFC 死锁:一台服务器的 ARP/MAC 映射不完整,上游交换机把无损流量泛洪到所有端口,PAUSE 帧顺上游传播,在各交换机之间形成互相暂停的闭环,重启服务器也解不开。

修复两步:禁止广播组播进无损类;ARP 表项不完整时直接丢弃无损报文而非退回泛洪。


六、NCCL 侧变量:按四组读才不会乱

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# ── GID 与版本:决定实际跑的是 v2 还是 v1 ──
NCCL_IB_GID_INDEX # RoCE 模式下用哪个 GID,默认 -1(由 NCCL 自动选)
NCCL_IB_ROCE_VERSION_NUM # 自动选 GID 时的 RoCE 版本,默认 2
NCCL_IB_ADDR_FAMILY # 自动选 GID 时的地址族,默认 AF_INET

# ── 打标:决定报文被分进哪个队列 ──
NCCL_IB_TC # 流量类别字节,默认 0,不是裸 DSCP 值
NCCL_IB_SL # 服务等级,默认 0
NCCL_IB_FIFO_TC # 控制消息的流量类别

# ── 链路行为:超时、重试、每对连接的 QP 数 ──
NCCL_IB_QPS_PER_CONNECTION # 每对 rank 的 QP 数,默认 1
NCCL_IB_ADAPTIVE_ROUTING # IB 默认开,RoCE 默认关
NCCL_IB_TIMEOUT # 4.096 µs × 2^v,新版本默认 20
NCCL_IB_RETRY_CNT # 重试次数,默认 7

# ── GPU 直连 ──
NCCL_NET_GDR_LEVEL # GPUDirect RDMA 的 NIC–GPU 距离门槛

两处需要留意的地方:

NCCL_IB_GID_INDEX 有一处「两说」:现行官方文档写的默认值是 -1(由 NCCL 依据地址族与版本号自动选),较早版本的手册写默认 0。差别不小——写 0 会落到链路本地的默认 GID,-1 则可能选到带 IP 的那条。倾向留空不设,只在确认 fabric 稳定、并用 show_gids 核对过索引之后才显式 pin。

补充一条本系列早前已核实的时间线:该变量的默认值自 NCCL 2.21 起由 0 改为 -1(2.21 release notes: “Added support for dynamic GID detection on RoCE”);官方文档当前表述为 AUTO(since 2.32u1),并注明 “-1 is a legacy alias for AUTO”。所以「默认 0」不是错,是过时。

NCCL_NET_GDR_LEVEL 也有两种写法:现行文档用 LOC / PIX / PXB / PHB / SYS 字符串,早期用 0–4 的数字,含义一一对应(>4 一律按 SYS 解释;整数形式官方已不推荐)。


七、组网三档

7.1 一台盒式交换机:只求先跑通

几台服务器接一台盒式交换机,甚至两台机器背靠背直连。规模上限一眼能算出来:端口数 ÷ 每台上联口数。

这一档的价值不在性能,在于验证:GID 索引对不对、DSCP 有没有被信任、PFC 和 ECN 有没有真的在同一个队列上生效。把这里跑出来的单流数字当作基线,后面所有「性能不行」的判断都要回到这条基线上比。

7.2 两层 Fat-Tree:绝大多数集群的默认答案

Leaf(TOR)接服务器,Spine 只负责 Leaf 间转发,每台 Leaf 上连每一台 Spine。

优点是确定性:任意两台服务器之间都是同样的跳数、同样的可用带宽。代价是链路数量随规模一起涨——这也是「先问收敛比」的原因:Leaf 上行带宽总额与下行接入带宽总额之比,1:1 是不阻塞,3:1 是省钱,训练集群尽量别在这里省。

再往上就在 Spine 之上加 Core,变成三层 Clos。

7.3 轨道优化:把连线照着通信模式安排

把服务器的第 i 张网卡固定接到第 i 台 Leaf,于是「服务器 A 的 GPU 0」和「服务器 B 的 GPU 0」之间只隔一台交换机。

而集合通信里大量的邻居通信恰好发生在同编号节点之间——数据并行的 ring、梯度的某段拆分,都是这个形状。把连线照着通信模式安排,通信就少跨好几个来回。

代价是容错变窄:一条轨道挂了,对应那组通信整段受影响,所以轨道方案通常配双上联或冗余平面。取舍一句话:用一点灵活性,换通信路径的确定性。

7.4 规模上去后的两个敌人

敌人一:ECMP 哈希不均。 AI 流量的特征是流少、流大、可复现、突发强,单流能瞬间拉到线速,标准 ECMP 按五元组哈希在这么少的流面前分布得很不均匀。

有公开部署数据讲过:早期按目的下联口做路径绑定、一个机柜只分配一部分节点给单个任务时,训练退化超过 30%;后来改成交换机 ASIC 用 UDF 按目的 QP 哈希的增强 ECMP,再加集合通信库侧的 QP 扩展,AllReduce 最多提升 40%。(数据来自公开论文;「单流满速、多流暴跌」这个现象在现场见过不止一次。)

三种缓解手段可以同时上:

  1. 交换机侧按自定义字段(UDF)哈希,把目的 QP 纳入哈希因子
  2. 集合通信库侧提高每对 rank 的 QP 数(NCCL 里就是 NCCL_IB_QPS_PER_CONNECTION),让哈希样本变多
  3. 整机方案用支持逐包自适应路由的交换机加网卡,由网卡侧重排恢复有序

敌人二:反压半径。 PFC 的暂停是逐跳的,一个小环路上的拥塞能顺着链路一级级传出去。无损域越大,出问题时被波及的范围越大。

工程判断:能不用无损队列承载的流量,一律别放进来——尤其是广播与组播;大的无损域要配好看门狗。


八、四类高频故障与一套排障顺序

按现场出现频率排:

① PFC 死锁(最凶)。 A 等 B 释放缓存,B 等 C,C 又等 A,每个交换机都在等别人的暂停解除,流量彻底卡死,不人工干预不会自愈。现象好认——节点间通信突然中断,网卡 rx_pause/tx_pause 计数爆表,NCCL 卡住不动。日志里一条 ERROR 都没有。

② ECN 门限拍脑袋。 有个集群迁到新机房后,同样的模型、同样的卡数,训练吞吐掉了七成;单流 ib_write_bw 满速正常,一上多流并发就掉到个位数。根因是新机房的交换机沿用了旧的 ECN 阈值模板,而设备缓存结构完全不同。阈值要按设备实际缓存深度重算,不能跨型号抄。

③ GID index 选错、实际跑成 v1。 这个坑的特点是**「一半通一半不通」**——同一广播域内通畅,一跨三层就完蛋,而两端各自测单流是好的,不会暴露。判据就是核 show_gids 的 VER 列。

④ ECMP 哈希不均加队头阻塞。 现象是「单流满速、多流暴跌」。验收建议:把多流与单流的比值写进验收标准,这个数比单纯的带宽更能反映网络真实健康度。

排障顺序:顺序比工具重要

  1. 核两端优先级是否对齐
  2. 看 PFC 的 pause 计数是稳定在低位还是一路疯涨
  3. 看 ECN 标记计数是否失控
  4. 比单流与多流的带宽差距
  5. 核 RoCE 版本与 GID 索引
  6. 看无损队列深度是否长期贴着 XOFF 门限
  7. 最后才轮到怀疑硬件——速率协商、光模块、线缆

前两步不需要改任何配置。 顺序反了,你会在物理层浪费一天,然后发现问题在一个 trust dscp 上。

一个提速诊断技巧:怀疑 ECN 门限设低了,最快的验证是在交换机上临时把 ECN 起始门限调高,再重跑同一轮压测。带宽明显回升说明之前阈值过于保守;没变化就是方向错了,去查 PFC 与队列映射。


九、上线前验收:六项指标

项 怎么量 合格线怎么看
优先级端到端一致性 两端逐处回读优先级号与 trust 四处编号一致,无默认值兜底
PFC pause 计数 压测期间连续采集,看趋势 稳定低位;只增不减即为异常
ECN 标记速率 交换机标记计数 + 网卡 CNP 计数 有标记但不成片爆发
单流与多流带宽比 同一对节点各打一轮 多流不低于单流的八成
incast 场景 多对一同时打 不出现吞吐归零,延时无长尾
故障注入 压测中拔线或端口 down 收敛时间内恢复,计数器无连锁异常

POC 按这个顺序往上垫:先单流打到线速 → 多流并发暴露 ECMP 分布问题 → incast 把 ECN 与 PFC 的门限关系逼出来 → 混入存储或管理流量验证队列隔离 → 故障注入看收敛 → 长稳十二小时以上,盯 pause 与 ECN 计数的趋势。

一条最容易漏的验收项:不要只压带宽。要专门跑一轮**「两端配置故意错位」的对照**——比如只把交换机侧优先级改一个号,看监控能不能在几分钟内把异常指出来。

指不出来,说明你交付的是一套无法运维的网络,不是一套跑得快的网络。

该自己核的六个点

  1. ECN 门限是按哪一款交换机的缓存深度算的? 拿设备实际缓存深度自己重算,别跨型号抄模板。
  2. 无损优先级规划的是几号? 用 mlnx_qos -i <dev> 回读网卡侧 trust 状态与 PFC 位图,核对四处编号。
  3. PFC 死锁检测开没开? 检测时间、恢复时间、动作各是什么值?交换机与网卡两侧都回读。
  4. 广播组播是否被挡在无损类之外? ARP 表项不完整时是丢弃还是泛洪?压测里造一次 ARP 不完整看 pause 计数。
  5. 多流带宽相对单流能保持几成? 多流不低于单流的八成。
  6. 网卡侧与交换机侧参数有没有一份对齐表? 自己拉一张两列对照表。

十、一个月路线图

前提摆在桌面上:两台装了 RDMA 网卡的机器、一台能配 DCB 的交换机、每天大概半天完整时间。缺硬件的话头两周还能跟着走,第三周起只剩纸上推演。

第 1 周(1–7 天):把名词和家底盘清楚
读通 RDMA/RoCE/IB 三者关系、v1 与 v2 差在哪层、GID/QP/DSCP/PCP/队列各指什么。同时把网卡型号、驱动与固件版本、交换机型号与 NOS 版本抄进同一张表——这周记下的版本号,后面每次参数回读都要对得上。
产出:自己写的名词对照表 + 设备与版本清单。

第 2 周(8–14 天):两台机器打通,先拿到单流基线
先别碰交换机的 QoS。两台机器背靠背或接一台什么都不配的交换机:装驱动、确认端口状态、rping 通、ib_write_bw 把单流打到线速。
这一步的全部价值在那条可信的单流基线上。 没有基线,你没法区分「这次慢了」和「它本来就这个速度」。没落到线速就别往下走。

第 3 周(15–21 天):接交换机做无损,配一处回读一处
最容易翻车的一周。顺序:trust dscp 打开 → PFC 只给一个优先级 → ECN 门限排在 PFC 之前 → GID 索引显式钉住。
两条纪律:① 每配一处、回读一处,不要攒到最后一起验;② ECN 门限按这台交换机实际缓存深度重算,不许跨型号抄模板。
产出:配置备份 + 逐项回读记录(网卡标记、交换机信任字段、队列归属、PFC 优先级四处编号必须一致)。这张表日后是唯一的救命稻草——半年后没人能凭记忆说出那台交换机的优先级配的是几号。

第 4 周(22–30 天):压测、验收,交出能长期活下去的东西
按顺序往上垫(见第九节),全程看 pause 与 ECN 计数的趋势,不看峰值。
最后几天留给纸面:六项验收指标按项打勾,并在每项旁注明这组 ECN/PFC 数字是按哪款交换机、多大缓存深度算出来的——半年后换设备时,这句注释值一次加班。然后写运维手册和回滚方案。


收尾

这条路按周设目标,不按天。 等硬件、等机房窗口、等业务侧给停机时间,中间卡两周是常态。

真正的分水岭在第三周——绝大多数出问题的 RoCE 网络,不是死在不懂原理上,而是死在某一台设备的参数跟别人不一样,并且很长时间里没人发现。

回到开头那个 POC:两端都开着 PFC,中间没人把包送进该进的队列。RoCEv2 的难点从来不在单个组件,而在那条必须处处对齐的链。


参考资料

  1. IEEE 802.1Qbb(Priority-based Flow Control)
  2. RFC 3168(The Addition of Explicit Congestion Notification to IP)
  3. Zhu et al., Congestion Control for Large-Scale RDMA Deployments, SIGCOMM 2015(DCQCN 原始论文)
  4. NVIDIA DOCA, DCQCN CC Parameters(固件参数默认值)
  5. NVIDIA NCCL Environment Variables(官方文档)
  6. NVIDIA Ethernet SuperNICs / ConnectX 系列产品页
  7. SONiC 官方文档(pfcwd、ecnconfig)
  8. Cisco Nexus 9000 验证设计指南(MQC 三段式)
  9. 华为 CloudEngine《配置指南-智能无损网络》