给 GPU 集群做网络验收时,最容易测的是空载 NCCL/RCCL 带宽,最容易漏掉的是训练和读数据同时跑时的长尾。SC26 PDSW 的一项实测给了一个很好的反例:在同一套 Slingshot 11 集群里,隔离存储和梯度通信的流量类别有帮助,但分到独立类别的存储路径,仍有 11.5% 的迭代等数据超过 1 秒。要定位瓶颈,需要分别测两个量:GPU 在等下一批数据多久,集体通信本身又变慢了多少。

上一篇混合云网络建设方案把计算通信留在站点内;这篇进一步看站点内训练和存储如何互相影响。

1. 一次训练迭代,会在哪里等?

1
2
数据面:共享存储 → 存储网络 → DataLoader worker → 预取队列 → 训练 rank
通信面:训练 rank → 反向传播产生梯度 → all-reduce → 各 rank 继续推进

DataLoader 通常提前读下一批数据。只要预取在当前计算结束前完成,I/O 就不一定出现在迭代的关键路径上。真正该记录的是训练循环拿下一批数据时还要等多久,也就是 DataLoader 的暴露等待。一个 rank 遇到慢读,可能晚进入 collective,其他先到的 rank 也会跟着等。此时只看某张卡上的 collective 区间,很容易把“等同伴到齐”和“网络传输本身变慢”混为一谈。

第二种情况是 rank 都能正常推进,但存储流量和梯度流量挤在同一条路径上。此时即使 DataLoader 没有断粮,通信阶段也可能抖动。在这篇论文的 Slingshot 11 配置里,Lustre 和 RCCL 共用 RDMA 流量类别,VAST 则通过 NFS/TCP 使用另一类别。交换结构按流量类别分配注入信用额度;把流量分开,可以减少同一类别内争用额度的机会,却不会让远端读变成本地读。

2. 145 倍和 11.5%,来自两组不同的实验

作者在 4 节点、共 16 张 AMD MI300A GPU 上运行真实的 PyTorch DDP 图神经网络训练。数据集含约 520 万个样本,按 epoch 全局打乱;数据和预计算的图边合计约 687 GB。下表前两列是完整训练 epoch 的 DataLoader 等待统计,最后一列来自另外跑的、有 I/O 对无 I/O 的 all-reduce 实验。两组数字不能混读。论文第 II 节,表 II–III

存储路径 DataLoader 等待 p95 等数据超过 1 秒的迭代占比 独立通信实验的最大干扰倍数
Lustre,与 RCCL 共用流量类别 11.381 s 28.2% 145×
VAST,独立流量类别 1.782 s 11.5% 24×
节点本地 NVMe 或 tmpfs 未在该表中报告 未在该表中报告 1.0×

145× 是微基准中观察到的最大比值,不是训练慢了 145 倍,也不是 p95 或平均值。 另外,Lustre 和 VAST 的介质、存储实现和协议也不同,24× 与 145× 的差不能全部归功于 QoS。更值得关注的是完整训练中出现的现象:Lustre 的中位 DataLoader 等待只有 3 ms,VAST 为 15 ms,但两者都存在秒级长尾。在作者用“逐迭代耗时超出中位数的部分”估算的额外时间里,Lustre 约 93% 来自 DataLoader 等待,而不是 all-reduce 尖峰。这一归因口径不是在说 93% 的整个 epoch 都在等存储。论文第 II 节

3. 本地 NVMe 为什么有效?冷、热两轮要分开看

论文中的 DYAD 把样本整理成可用字节偏移定位的连续数据,给每个文件指定一个负责节点,按需把数据块暂存到该节点的本地 NVMe。冷读仍然经过 Lustre;字节偏移索引减少了逐样本的 HDF5 元数据查找,文件只有一个负责节点也减少了对源文件的并发争用。第二轮需要的块已在负责节点的盘上,不再读取 Lustre 源端。全局 shuffle 下,如果一个 rank 需要的数据在另一台节点,仍可以经 RDMA 从负责节点获取。因此,热缓存省掉的是访问共享存储源端的流量,不是所有跨节点的数据流量。

同一全局采样序列下,直接读 Lustre 的一轮训练耗时 11,843.9 秒,直接读 VAST 为 1,693.9 秒,DYAD 第一轮为 1,595.8 秒。第二轮热缓存下为 1,293.3 秒,相对论文表中的 VAST 单轮基线约为 1.31 倍吞吐。冷启动相对 Lustre 的 7.4 倍收益包含数据格式与读取组织的变化,不能拿来预测给原有 HDF5 增加一块 NVMe 的效果。实验是 16 卡上的随机访问 GNN;顺序读取的大分片 LLM 语料、一次性训练、数据集大于缓存空间的任务,都要重新测。论文第 III–IV 节

4. 怎么用在 Kubernetes GPU 集群的网络验收里?

压测组 固定与改变什么 主要观测
A. 通信基线 固定节点、网卡、拓扑与消息大小;不注入存储负载 all-reduce p50/p95/p99、有效带宽
B. 通信 + 读数据 保持 A 的通信配置,回放真实训练读流量;记录吞吐与访问模式 collective 长尾、端口拥塞、每 rank 到达时间差
C. 同源存储、改路径 同一存储后端、协议和请求,尝试独立队列或独立链路 隔离是否改善通信;DataLoader p95/p99 是否仍高
D. 节点本地暂存 先单独跑同格式同采样的暂存对照,再测重排格式;分别跑冷缓存和热缓存 预热时间、缓存命中、远端读占比、首次有效 step 和完整 epoch 耗时
  • 先分清等待是谁带来的。 在每个 rank 记录拿 batch 的耗时、进入通信的时间和通信完成时间。端到端再看 step 耗时与吞吐。这样能区分少量慢 rank 拖住整个任务,还是正常到齐后链路依然堵。
  • 逻辑隔离先确认是否落到硬件。 不要只验证 Pod 绑了第二张网卡、两个子网能互通。要核对存储路径和训练路径实际走哪张 NIC、哪个交换端口和哪类队列,再用 B/C 组确认。RoCE 可关联 ECN 标记、按优先级的 PFC 暂停(如部署启用)和端口丢包;不要把 Slingshot 的信用机制直接套成 RoCE 的参数表。
  • 把预热和故障重建算进方案成本。 节点替换后本地缓存要重建。给暂存任务限定并发,按数据集版本校验缓存;不要让整个 gang 在预热时一起打满存储网。如果任务只跑一轮,用“暂存开始到训练结束”的总时间比较,不只报热缓存成绩。
  • 读数据和写 checkpoint 分场景验。 这篇论文测的是训练输入,不是 checkpoint 持久化。加一组周期性 checkpoint 写入,独立记录写入窗口的 step 长尾、持久化完成时间和恢复时间。节点 NVMe 可作缓冲,但不能单独承担节点故障后的持久化恢复。

如果只能加一条验收用例,我会选:让真实的数据读取和跨节点 all-reduce 同时跑,分别记录 DataLoader 和通信的 p95/p99,再看最终 step 时间。 如果只是通信长尾变差,优先查路径和 QoS;如果通信已恢复而 GPU 仍在等 batch,优先查读取模式、预取队列或数据暂存。两条曲线分开看,才知道预算该花在哪。

参考