RoCEv2 无损网络:PFC、ECN、DCQCN 三件套,与那条必须处处对齐的优先级链
InfiniBand 有个让人羡慕的特性:链路天生无损,credit-based 流控做在硬件里,不需要你教交换机怎么排队。代价是那是一整套得另起炉灶的网络——另一种交换机型号、另一批光模块、另一套运维技能。
RoCEv2 讲的是它的另一半:同样把 RDMA 跑起来,但跑在你已经有的以太网上。所谓性价比就在这句话里——不必为了 RDMA 再建一张网。
便宜不是白来的。以太网从来不保证不丢包,交换机缓存满了就丢;而 RDMA 的传输层没有 TCP 那套重传——丢一个包,队列对(QP)直接进错误态,上层看到的是卡死,不是变慢。IB 把无损做进了链路层,RoCEv2 得你自己一层一层补出来。
入门时间本身就是这笔账的一部分:IB 大约一小时能讲明白,子网管理器把地址、路由、流控全包了;RoCEv2 得按一个月算——打标、映射、队列、门限、四处编号对齐,每一层都得自己盯着。
一句话概括:IB 贵,贵出来的那部分钱买的是「运维简单」;RoCEv2 省下的设备钱,会在调优和配置一致性上还回去。
本文是 RDMA 系列的第四篇。前几篇分别拆了 RDMA 技术手册、RDMA 技术栈全解 和 RDMA 全链路拆解:从 verbs 到硬件再到训练平台落点——那些讲的是 RDMA 本身怎么工作,这篇讲承载它的那张以太网要怎么改造成无损的。
一个 POC 的教训
有个案例我一直记得。两台机器打 ib_write_bw,单流贴着 200G 线速,漂亮得像验收报告。接上 NCCL 跑 all-reduce,吞吐掉到一半,而且掉得不规律:有时能跑满,有时卡十几秒。
查了两天,是交换机端口少配了 trust dscp——DSCP 26 的报文没被映射进无损队列,PFC 根本没在管它。两端都开着 PFC,中间没人把包送进该进的队列。
这个案例概括了 RoCEv2 的全部难点:不是某个组件不会配,而是它们之间没对齐。
一、先把名字钉死:RDMA、IB、RoCE 与 v1/v2
| 名词 | 是什么 |
|---|---|
| RDMA | 一种访问方式:网卡直接读写对端内存,数据不进内核缓冲区,CPU 不负责搬运 |
| IB | 一整套专为此设计的网络:自己的链路层、网络层、传输层、子网管理器和线缆 |
| RoCE | 把 RDMA 的传输层报文装进以太网帧,让它跑在通用以太网上——名字本身就是答案 |
v1 与 v2 的分野
| 项 | RoCEv1 | RoCEv2 |
|---|---|---|
| 封装 | IB 传输层直接进以太网帧 | IB 传输层 → UDP → IP → 以太网 |
| 标识 | Ethertype 0x8915 |
UDP 目的端口 4791 |
| 三层路由 | 不可路由 | 可路由,可走 ECMP |
| 广播域边界 | 跨不过去 | 不受限 |
多套一层 UDP/IP 是有代价的——净荷比例被削掉一点。换来的是能路由、能规模化,这笔交换在几乎所有生产环境里都划算。
最值得盯的一行
网卡 GID 表里,同一个地址占两个相邻索引:前一个 v1,后一个 v2。
很多「配了 RoCEv2 却不跨三层」的问题,根因就是索引选错——你以为在用 v2,实际走的是 v1。判读方法:
show_gids里同一列地址出现两次、VER 分别写v1和v2、且 v2 那行带 IPv4 地址的,才是你要的索引。
索引0/1是链路本地默认 GID(fe80::开头),一般不是业务地址。
二、无损三件套:PFC、ECN、DCQCN
带宽这一栏两条路线完全一样:200 Gbps 就是 200 Gbps。差别全在丢包。
以太网想跑 RDMA,必须先被改造成不丢包的网络,工具箱叫 DCB(Data Center Bridging)。真正干活的是三样东西:
| 基石 | 管的尺度 | 在哪工作、何时触发 | 代价与边界 |
|---|---|---|---|
| PFC | 突发 | 逐跳链路层;队列越过 XOFF 就向上游发 PAUSE | 反压会顺着链路往外传,严重了成死锁 |
| ECN | 持续拥塞 | 交换机打标 → 接收端回 CNP → 发送端降速 | 依赖端到端都支持,门限挑设备 |
| DCQCN | 把信号翻译成速率 | 发送端网卡;收到 CNP 立刻降速 | 参数随固件版本变,必须自己回读 |
| 优先级映射 | 让报文先进对队列 | 网卡与交换机入口 | 严格说不属"基石",但它错了一切白搭 |
一句话记住分工:PFC 管一瞬间,ECN 管一阵子,DCQCN 管怎么把速度降下来、再小心翼翼地升回去。
2.1 PFC:逐优先级地向上游喊停
PFC(Priority-based Flow Control,IEEE 802.1Qbb)做的是链路层反压,但比老式以太 PAUSE 聪明一点:暂停的单位是优先级,不是整条链路。
运行顺序:
- 水位——接收侧每个端口按优先级各自排队,报文持续涌入,某个队列水位往上爬。
- 触发——水位越过 XOFF 门限那一刻,接收侧朝直接上游发 PAUSE 帧,帧里带优先级号和暂停配额。
- 生效——上游收到后,只停这一个优先级,其余七个照常走。
- 排空与恢复——下游继续转发,水位回落到 XON 之下再发配额为零的 PAUSE 解除;就算解除帧丢了,暂停配额耗尽也会自动恢复。
两个决定"是保护还是灾难"的参数:
① headroom。 从「接收侧决定发 PAUSE」到「上游真正停下」,中间有一段时间:PAUSE 帧要在链路上走一趟,上游处理要时间,更重要的是线上还飞着已经在途的报文。这段时间的在途报文加 MTU,就是 headroom 必须预留的空间。
留不够,刹车还没生效,包已经先丢了——那时 PFC 开着等于白开。headroom 按链路速率、线缆长度与 MTU 算出来,不是拍脑袋填的,也不能跨交换机型号抄。
② 给谁开。 把八个优先级全开 PFC 看起来最保险,实际最危险:任何一类流量的拥塞都会触发暂停帧,把毫不相干的流量一起堵住,还会显著抬高死锁概率。正确做法是只给承载 RoCE 的那一个优先级开。
PFC 的两个老毛病:队头阻塞(一个优先级被暂停时,共享同一端口缓冲的其他流量也可能被打到)与反压传播(暂停是逐跳的,一条链路的拥塞能顺着路径一级级传出去)。
「无损」不等于「不丢包」。 PFC 只保证链路这一段不丢。网卡接收缓冲区、PCIe 通道、驱动队列都可能丢。验收只盯 pause 计数会漏掉端侧。
2.2 ECN:在队列被塞满之前先打声招呼
PFC 是「已经快满了,你停下」。ECN(RFC 3168)要解决的是:能不能别等到快满。
它借用 IP 头里的两位做标记,流程绕一圈:
- 发送端把报文标记为 ECT(支持 ECN 的意思),正常发出。
- 交换机看队列,深度超过标记门限时,按概率把 ECT 改写成 CE——注意是改写,不是丢弃,报文照常转发。
- 接收端网卡看到 CE,生成 CNP 回报发送端。
- 发送端收到 CNP,据此降速。
四个决定它能不能用起来的细节:
- 标记是概率性的。 交换机走 RED/WRED 那套:队列越深,被打标概率越高;超过上界就直接丢弃。所以**「有标记」是好事**,说明 ECN 这道闸在正常工作。
- 接收端不是每个 CE 都回 CNP——那会让自己变成一场新的风暴。实现里有最小间隔做节流。
- CNP 自己不能被丢。 它是几十字节的小报文,通常给它单独一个 DSCP(常见 48)并走严格优先队列。它要是丢了,调速信号就断了。
- 要有发电厂。 如果队列深度还没到 ECN 门限、突发却已经把水抬起来了,ECN 来不及反应,那一刻还是靠 PFC 兜住。所以 PFC 不能拆。
2.3 DCQCN:把 CE 信号翻译成一条速率曲线
ECN 只告诉你「堵了」,没说该降到多少、什么时候能回升。这件事由 DCQCN 做——出自 2015 年 SIGCOMM,Microsoft 与 Mellanox 联合发表,如今是多数 RoCE 网络的默认拥塞控制。
它把三方分了角色:
| 角色 | 是谁 | 干什么 |
|---|---|---|
| CP(Congestion Point) | 交换机 | 概率打标 |
| NP(Notification Point) | 接收端 | 生成 CNP |
| RP(Reaction Point) | 发送端 | 调速率 |
前两节讲的就是 CP 和 NP;DCQCN 真正定义的是 RP 的行为。
发送端的速率调整只有两个方向,但完全不对称:
往下降,一步到位。 收到一个 CNP 就更新 α(拥塞程度的 EWMA 平滑,不是瞬时判断),然后按 速率 = 速率 × (1 − α/2) 降一档。α 接近 1 时几乎直接砍半。这个「降得快」是刻意的——拥塞发生时,反应慢半拍比降过头更危险。
往上升,小心翼翼。 一段时间没收到 CNP 才触发一次提速,且分阶段:先做若干次快恢复(向目标速率折半靠拢),如果还是没有 CNP,切成加性增(每个周期只抬一小截);恢复初期还有一种更激进的上抬模式。
为什么这么磨蹭?因为发送端判断「没事了」的唯一依据就是「没收到 CNP」,而这个信息本身就是滞后的——冲太猛,下一轮 CNP 立刻就到,吞吐震荡。
⚠️ 参数这件事:论文值与固件默认值不是一回事
流传的说法常引用论文推荐量级(α 更新周期约 55 µs、字节计数阈值约 150 KB)。但落到实际网卡上,固件默认值是另一套数。
已核实的 NVIDIA DOCA 官方 DCQCN 参数页(ConnectX-4 及以后)给出的实际默认值:
| 参数 | 官方默认值 | 含义 |
|---|---|---|
DcQcnDceAlphaUpdatePeriod(DCE_TCP_RTT) |
1 µs | α 更新周期 |
DcQcnDceAlphaG(DCE_TCP_G) |
1019 | α 的 EWMA 系数(定点,10 位小数) |
DcQcnInitialAlphaValue |
1023 | 首个 CNP 的初始 α |
DcQcnRateReduceMonitorPeriod |
4 µs | 两次降速之间的最小间隔 |
DcQcnMinDecFac |
50(%) | 最大降速比例 |
DcQcnTimeReset |
300 µs | 两次提速事件之间的时间 |
DcQcnByteReset |
32767 × 64 B ≈ 2 MB | 两次提速事件之间的字节计数 |
DcQcnAiRate / DcQcnHaiRate |
5 / 50 Mb/s | 加性增 / 快增速率 |
DcQcnCnpDscp |
48 | CNP 报文的 DSCP(文中"常见 48"得到确认) |
DcQcnMinTimeBetweenCnps |
4 µs | 两个 CNP 之间的最小间隔 |
注意 α 更新周期:论文量级 55 µs,而 NVIDIA 固件默认是 1 µs——差了 55 倍。 字节计数阈值同样对不上(论文量级 150 KB,固件默认约 2 MB)。
这不是谁写错了,而是论文的推荐值、厂商的固件默认值、你现场该设的值,是三个不同的东西。照抄任何一张现成的参数表都是这个领域最常见的踩坑方式——因为那张表很可能来自不同固件、不同网卡型号、不同收发距离。
上线前的动作:拿
mlnx_qos、mlxconfig或对应厂家的参数查询命令,把这几个值在自己的机器上回读一遍再决定改不改。
三者的协作顺序
ECN 必须在 PFC 之前动作。 ECN 的标记门限要低于 PFC 的 XOFF 门限,让发送端在缓存还没见底时先减速。
顺序反了的现场特别好认:ECN 标记数几乎为零,PFC 的 pause 计数一路疯涨。
三、优先级必须处处对齐:打标、映射、队列
三大基石要生效有个前提:报文得先被分进那个开了 PFC、配了 ECN 的队列。这件事跨越三台设备、两个协议层,是全篇最容易出事的一段。
| 层 | 常见配错 | 现场表现 |
|---|---|---|
| 打标 | 应用或驱动用默认 DSCP 0 | 单流正常,并发时抖动剧烈 |
| 映射 | 端口没 trust dscp |
PFC 计数器长时间为 0,丢包照旧 |
| 队列 | ECN 门限高于 PFC XOFF | ECN 标记数极低,pause 计数疯涨 |
| 队列 | ECN 门限设得过低 | 标记数暴涨,流量震荡、吞吐塌陷 |
打标层决定报文头上写什么。麻烦在默认值:不少驱动和应用的默认 DSCP 是 0,NCCL 的 NCCL_IB_TC 默认也是 0。指望默认值刚好落进无损队列,不现实。
映射层决定标记被翻译成哪个内部优先级:二层设备看 PCP(8 个优先级),三层设备看 DSCP(64 个值)。走三层就得让交换机信任 DSCP——不 trust dscp,报文按默认优先级进去,后面的 PFC 和 ECN 全落空。这正是开头那个 POC 卡了两天的原因。
队列层才是 PFC 和 ECN 生效的地方,ECN 门限必须低于 PFC XOFF 门限。
一句话验收法:看 PFC 的 TX 计数。长期为 0 或极低,说明链路靠 ECN 就稳住了,这是健康状态;如果它一路疯涨,别急着加缓存,先回头查 ECN 门限。
四、网卡侧:命令与回读
4.1 先读对 GID 表
1 | # 查当前 RoCE 模式 |
一处「两说」:NVIDIA 官方论坛回复写过 mlx5 驱动配合 RDMA_CM 默认用 RoCEv2;也有技术文档描述为「默认可能运行在 RoCEv1,需要切到 v2」。两者不矛盾,取决于驱动版本与发行版,但对你的含义一样:别信默认值,跑一次查看命令确认。
4.2 QoS 与 PFC
1 | # ① 按三层 DSCP 分类,而不是二层的 PCP |
第三步不能省。 现场见过两边都「配了」PFC、优先级号却差一个的,报文根本没进同一个队列。
4.3 发端打标与拥塞控制开关
1 | # 参数是 IP 头 ToS 字节而不是 DSCP 本身,换算是 DSCP 左移 2 位 |
掩码可以收窄到只给数据优先级。CNP 报文的 DSCP 在 DCQCN 参数表里对应 DcQcnCnpDscp,官方默认 48,建议设成与数据不同的值并让它走严格优先队列。
4.4 三行验收
mlnx_qos -i <dev>回读里,trust 状态应是dscp、目标优先级的 PFC 位应是 1show_gids里给 NCCL 的那个索引,VER 必须是 v2ibdev2netdev里 rdma 设备要对上业务网卡,不能对到管理口
五、交换机侧:三家对照
三家写法差别很大,目标完全一致。以下为配置示意,省略了 VLAN、路由、STP 等前置配置。
5.1 华为 CloudEngine:先定义模板,再挂到接口
1 | system-view |
配套还有 ECN 门限、PFC 死锁检测、动态 ECN 门限、快速 CNP 标记等功能,官方《配置指南-智能无损网络》逐项列出。ECN 命令各版本写法有差异,以对应版本为准。
5.2 Cisco Nexus 9000:MQC 的三段式
官方验证设计用的是 MQC 三段式:分类归 type qos、排队与 ECN 归 type queuing、PFC 归 type network-qos。
1 | # ① 分类:把 DSCP 24 的报文归进 qos-group 3 |
排队与 network-qos 策略用 system qos 全局挂,分类策略在接口 input 方向挂。
5.3 SONiC:命令短,靠 profile 说话
1 | # ① 在接口上打开优先级 3 的 PFC |
AZURE_LOSSLESS 只是常见的一组内置 profile,换成你自己发行版的名字即可。
5.4 优先级取值:三个都对,关键是一致
| 来源 | 常用优先级值 |
|---|---|
| 思科验证设计 | DSCP 24 |
| 很多华为侧部署 | DSCP 26 |
| 另有 | DSCP 48(通常留给 CNP) |
三个值都对,关键是端到端一致——网卡打的标记、交换机信任的字段、进哪个队列、队列上开的是哪个优先级的 PFC,四处必须指向同一个编号。
5.5 PFC 死锁:三家都在用看门狗
死锁靠看门狗规避:监测某队列是否长期暂停又不排空,超过检测时间就人为干预,把该队列流量丢弃一段时间打断它,之后再恢复。
1 | # NVIDIA Cumulus Linux |
三个参数:检测时间(卡多久算死锁)、恢复时间(干预后等多久放行)、动作(drop 丢弃以打断,forward 只用于调试)。华为侧对应的能力叫 PFC 死锁检测,命令以官方配置指南为准,生产环境建议默认开。
5.6 一条更基础的要求:把广播与组播挡在无损类之外
这条来自一个公开经典案例的修复动作——微软早年跑大规模 RoCE 时遇到过跨交换机 PFC 死锁:一台服务器的 ARP/MAC 映射不完整,上游交换机把无损流量泛洪到所有端口,PAUSE 帧顺上游传播,在各交换机之间形成互相暂停的闭环,重启服务器也解不开。
修复两步:禁止广播组播进无损类;ARP 表项不完整时直接丢弃无损报文而非退回泛洪。
六、NCCL 侧变量:按四组读才不会乱
1 | # ── GID 与版本:决定实际跑的是 v2 还是 v1 ── |
两处需要留意的地方:
NCCL_IB_GID_INDEX 有一处「两说」:现行官方文档写的默认值是 -1(由 NCCL 依据地址族与版本号自动选),较早版本的手册写默认 0。差别不小——写 0 会落到链路本地的默认 GID,-1 则可能选到带 IP 的那条。倾向留空不设,只在确认 fabric 稳定、并用 show_gids 核对过索引之后才显式 pin。
补充一条本系列早前已核实的时间线:该变量的默认值自 NCCL 2.21 起由
0改为-1(2.21 release notes: “Added support for dynamic GID detection on RoCE”);官方文档当前表述为 AUTO(since 2.32u1),并注明 “-1 is a legacy alias for AUTO”。所以「默认 0」不是错,是过时。
NCCL_NET_GDR_LEVEL 也有两种写法:现行文档用 LOC / PIX / PXB / PHB / SYS 字符串,早期用 0–4 的数字,含义一一对应(>4 一律按 SYS 解释;整数形式官方已不推荐)。
七、组网三档
7.1 一台盒式交换机:只求先跑通
几台服务器接一台盒式交换机,甚至两台机器背靠背直连。规模上限一眼能算出来:端口数 ÷ 每台上联口数。
这一档的价值不在性能,在于验证:GID 索引对不对、DSCP 有没有被信任、PFC 和 ECN 有没有真的在同一个队列上生效。把这里跑出来的单流数字当作基线,后面所有「性能不行」的判断都要回到这条基线上比。
7.2 两层 Fat-Tree:绝大多数集群的默认答案
Leaf(TOR)接服务器,Spine 只负责 Leaf 间转发,每台 Leaf 上连每一台 Spine。
优点是确定性:任意两台服务器之间都是同样的跳数、同样的可用带宽。代价是链路数量随规模一起涨——这也是「先问收敛比」的原因:Leaf 上行带宽总额与下行接入带宽总额之比,1:1 是不阻塞,3:1 是省钱,训练集群尽量别在这里省。
再往上就在 Spine 之上加 Core,变成三层 Clos。
7.3 轨道优化:把连线照着通信模式安排
把服务器的第 i 张网卡固定接到第 i 台 Leaf,于是「服务器 A 的 GPU 0」和「服务器 B 的 GPU 0」之间只隔一台交换机。
而集合通信里大量的邻居通信恰好发生在同编号节点之间——数据并行的 ring、梯度的某段拆分,都是这个形状。把连线照着通信模式安排,通信就少跨好几个来回。
代价是容错变窄:一条轨道挂了,对应那组通信整段受影响,所以轨道方案通常配双上联或冗余平面。取舍一句话:用一点灵活性,换通信路径的确定性。
7.4 规模上去后的两个敌人
敌人一:ECMP 哈希不均。 AI 流量的特征是流少、流大、可复现、突发强,单流能瞬间拉到线速,标准 ECMP 按五元组哈希在这么少的流面前分布得很不均匀。
有公开部署数据讲过:早期按目的下联口做路径绑定、一个机柜只分配一部分节点给单个任务时,训练退化超过 30%;后来改成交换机 ASIC 用 UDF 按目的 QP 哈希的增强 ECMP,再加集合通信库侧的 QP 扩展,AllReduce 最多提升 40%。(数据来自公开论文;「单流满速、多流暴跌」这个现象在现场见过不止一次。)
三种缓解手段可以同时上:
- 交换机侧按自定义字段(UDF)哈希,把目的 QP 纳入哈希因子
- 集合通信库侧提高每对 rank 的 QP 数(NCCL 里就是
NCCL_IB_QPS_PER_CONNECTION),让哈希样本变多 - 整机方案用支持逐包自适应路由的交换机加网卡,由网卡侧重排恢复有序
敌人二:反压半径。 PFC 的暂停是逐跳的,一个小环路上的拥塞能顺着链路一级级传出去。无损域越大,出问题时被波及的范围越大。
工程判断:能不用无损队列承载的流量,一律别放进来——尤其是广播与组播;大的无损域要配好看门狗。
八、四类高频故障与一套排障顺序
按现场出现频率排:
① PFC 死锁(最凶)。 A 等 B 释放缓存,B 等 C,C 又等 A,每个交换机都在等别人的暂停解除,流量彻底卡死,不人工干预不会自愈。现象好认——节点间通信突然中断,网卡 rx_pause/tx_pause 计数爆表,NCCL 卡住不动。日志里一条 ERROR 都没有。
② ECN 门限拍脑袋。 有个集群迁到新机房后,同样的模型、同样的卡数,训练吞吐掉了七成;单流 ib_write_bw 满速正常,一上多流并发就掉到个位数。根因是新机房的交换机沿用了旧的 ECN 阈值模板,而设备缓存结构完全不同。阈值要按设备实际缓存深度重算,不能跨型号抄。
③ GID index 选错、实际跑成 v1。 这个坑的特点是**「一半通一半不通」**——同一广播域内通畅,一跨三层就完蛋,而两端各自测单流是好的,不会暴露。判据就是核 show_gids 的 VER 列。
④ ECMP 哈希不均加队头阻塞。 现象是「单流满速、多流暴跌」。验收建议:把多流与单流的比值写进验收标准,这个数比单纯的带宽更能反映网络真实健康度。
排障顺序:顺序比工具重要
- 核两端优先级是否对齐
- 看 PFC 的 pause 计数是稳定在低位还是一路疯涨
- 看 ECN 标记计数是否失控
- 比单流与多流的带宽差距
- 核 RoCE 版本与 GID 索引
- 看无损队列深度是否长期贴着 XOFF 门限
- 最后才轮到怀疑硬件——速率协商、光模块、线缆
前两步不需要改任何配置。 顺序反了,你会在物理层浪费一天,然后发现问题在一个
trust dscp上。
一个提速诊断技巧:怀疑 ECN 门限设低了,最快的验证是在交换机上临时把 ECN 起始门限调高,再重跑同一轮压测。带宽明显回升说明之前阈值过于保守;没变化就是方向错了,去查 PFC 与队列映射。
九、上线前验收:六项指标
| 项 | 怎么量 | 合格线怎么看 |
|---|---|---|
| 优先级端到端一致性 | 两端逐处回读优先级号与 trust | 四处编号一致,无默认值兜底 |
| PFC pause 计数 | 压测期间连续采集,看趋势 | 稳定低位;只增不减即为异常 |
| ECN 标记速率 | 交换机标记计数 + 网卡 CNP 计数 | 有标记但不成片爆发 |
| 单流与多流带宽比 | 同一对节点各打一轮 | 多流不低于单流的八成 |
| incast 场景 | 多对一同时打 | 不出现吞吐归零,延时无长尾 |
| 故障注入 | 压测中拔线或端口 down | 收敛时间内恢复,计数器无连锁异常 |
POC 按这个顺序往上垫:先单流打到线速 → 多流并发暴露 ECMP 分布问题 → incast 把 ECN 与 PFC 的门限关系逼出来 → 混入存储或管理流量验证队列隔离 → 故障注入看收敛 → 长稳十二小时以上,盯 pause 与 ECN 计数的趋势。
一条最容易漏的验收项:不要只压带宽。要专门跑一轮**「两端配置故意错位」的对照**——比如只把交换机侧优先级改一个号,看监控能不能在几分钟内把异常指出来。
指不出来,说明你交付的是一套无法运维的网络,不是一套跑得快的网络。
该自己核的六个点
- ECN 门限是按哪一款交换机的缓存深度算的? 拿设备实际缓存深度自己重算,别跨型号抄模板。
- 无损优先级规划的是几号? 用
mlnx_qos -i <dev>回读网卡侧 trust 状态与 PFC 位图,核对四处编号。 - PFC 死锁检测开没开? 检测时间、恢复时间、动作各是什么值?交换机与网卡两侧都回读。
- 广播组播是否被挡在无损类之外? ARP 表项不完整时是丢弃还是泛洪?压测里造一次 ARP 不完整看 pause 计数。
- 多流带宽相对单流能保持几成? 多流不低于单流的八成。
- 网卡侧与交换机侧参数有没有一份对齐表? 自己拉一张两列对照表。
十、一个月路线图
前提摆在桌面上:两台装了 RDMA 网卡的机器、一台能配 DCB 的交换机、每天大概半天完整时间。缺硬件的话头两周还能跟着走,第三周起只剩纸上推演。
第 1 周(1–7 天):把名词和家底盘清楚
读通 RDMA/RoCE/IB 三者关系、v1 与 v2 差在哪层、GID/QP/DSCP/PCP/队列各指什么。同时把网卡型号、驱动与固件版本、交换机型号与 NOS 版本抄进同一张表——这周记下的版本号,后面每次参数回读都要对得上。
产出:自己写的名词对照表 + 设备与版本清单。
第 2 周(8–14 天):两台机器打通,先拿到单流基线
先别碰交换机的 QoS。两台机器背靠背或接一台什么都不配的交换机:装驱动、确认端口状态、rping 通、ib_write_bw 把单流打到线速。
这一步的全部价值在那条可信的单流基线上。 没有基线,你没法区分「这次慢了」和「它本来就这个速度」。没落到线速就别往下走。
第 3 周(15–21 天):接交换机做无损,配一处回读一处
最容易翻车的一周。顺序:trust dscp 打开 → PFC 只给一个优先级 → ECN 门限排在 PFC 之前 → GID 索引显式钉住。
两条纪律:① 每配一处、回读一处,不要攒到最后一起验;② ECN 门限按这台交换机实际缓存深度重算,不许跨型号抄模板。
产出:配置备份 + 逐项回读记录(网卡标记、交换机信任字段、队列归属、PFC 优先级四处编号必须一致)。这张表日后是唯一的救命稻草——半年后没人能凭记忆说出那台交换机的优先级配的是几号。
第 4 周(22–30 天):压测、验收,交出能长期活下去的东西
按顺序往上垫(见第九节),全程看 pause 与 ECN 计数的趋势,不看峰值。
最后几天留给纸面:六项验收指标按项打勾,并在每项旁注明这组 ECN/PFC 数字是按哪款交换机、多大缓存深度算出来的——半年后换设备时,这句注释值一次加班。然后写运维手册和回滚方案。
收尾
这条路按周设目标,不按天。 等硬件、等机房窗口、等业务侧给停机时间,中间卡两周是常态。
真正的分水岭在第三周——绝大多数出问题的 RoCE 网络,不是死在不懂原理上,而是死在某一台设备的参数跟别人不一样,并且很长时间里没人发现。
回到开头那个 POC:两端都开着 PFC,中间没人把包送进该进的队列。RoCEv2 的难点从来不在单个组件,而在那条必须处处对齐的链。
参考资料
- IEEE 802.1Qbb(Priority-based Flow Control)
- RFC 3168(The Addition of Explicit Congestion Notification to IP)
- Zhu et al., Congestion Control for Large-Scale RDMA Deployments, SIGCOMM 2015(DCQCN 原始论文)
- NVIDIA DOCA, DCQCN CC Parameters(固件参数默认值)
- NVIDIA NCCL Environment Variables(官方文档)
- NVIDIA Ethernet SuperNICs / ConnectX 系列产品页
- SONiC 官方文档(
pfcwd、ecnconfig) - Cisco Nexus 9000 验证设计指南(MQC 三段式)
- 华为 CloudEngine《配置指南-智能无损网络》