GPUDirect RDMA 让网卡直接读写已注册的 GPU 显存,NUMA 帮助定位进程和内存的局部性,最终要用 PCIe 拓扑、网络插件日志和跨节点 GPU 缓冲区测试确认实际数据路径。

多机训练做 AllReduce、AllGather、ReduceScatter 或点对点收发时,数据通常在 GPU 显存中产生和消费。即使 InfiniBand 或 RoCE 链路已经跑通,每端仍可能把数据先复制到主机内存。要解释吞吐或延迟差异,先确认数据从哪块显存出发、经过哪张网卡,以及在哪一段使用了主机内存。

1. 从一段梯度看 GDR 的数据路径

考虑两个训练节点交换梯度。若 RDMA 注册的是 Host Memory,就需要在发送端执行 GPU 到主机的复制,在接收端把主机缓冲区再复制到 GPU。网卡仍用 DMA 收发,但两端都要为中转付出复制时间与主机内存带宽。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
主机内存中转
发送 GPU
↓ D2H 复制
发送端 Host Buffer
↓ NIC DMA 读取
发送 NIC
↓ IB / RoCE
接收 NIC
↓ NIC DMA 写入
接收端 Host Buffer
↓ H2D 复制
接收 GPU

双端使用 GDR 的示意
发送 GPU 显存
↓ 发送 NIC 直接 DMA 读取
发送 NIC
↓ IB / RoCE
接收 NIC
↓ 接收 NIC 直接 DMA 写入
接收 GPU 显存

发送端网卡可以直接读取本地 GPU 缓冲区,接收端网卡可以直接写入本地 GPU 缓冲区。两个方向能否使用直达路径,要分别看平台能力和通信库选路。CPU 仍负责通信初始化、内存注册、队列管理、同步和错误处理。GDR 减少的是数据面上的主机内存中转。NVIDIA GPUDirect RDMA 文档

2. 网卡怎么拿到可用的显存地址?

DMA、PCIe P2P 与 BAR1

DMA 让设备在获得有效地址和访问权限后自行搬运数据。以普通主机内存 RDMA 为例,应用向 RDMA 子系统注册缓冲区,驱动为网卡建立 DMA 映射和访问权限,网卡随后按注册信息读取或写入。GPU 显存需要 GPU 驱动与 RDMA 驱动协作完成注册和映射,CUDA 指针本身无法作为 NIC 的 DMA 地址。

PCIe P2P 允许设备向另一个设备暴露的地址窗口发出读写请求。例如 GPU 和 NIC 接在同一个 PCIe Switch 下,交换机可能直接转发 NIC 发往 GPU 的请求。网卡按映射后的地址访问字节,路径由设备、PCIe 层级、平台固件和驱动共同决定。

PCIe 的 BAR(Base Address Register)用于描述设备的地址窗口,系统枚举时为其分配地址范围。NVIDIA GPU 的 BAR1 可以把部分显存映射到 PCIe 可访问的窗口。映射建立的是地址对应关系,数据仍留在显存芯片上。窗口的容量和映射方式取决于 GPU、驱动及平台配置。NVIDIA GPUDirect RDMA 文档

IOMMU 与地址一致性

普通 DMA 中,设备发出的 DMA 地址可以由 IOMMU 转换并检查权限。它与 CPU 的虚拟地址转换是两条路径。

1
2
CPU 访问内存   CPU 虚拟地址 → CPU MMU → 物理内存
设备访问内存 NIC DMA 地址 → IOMMU 转换与权限检查 → 目标内存

对 CUDA GDR 文档所述路径,参与的 PCIe 设备须看到一致的物理地址,因此通常需要 1:1 地址转换,或采用该平台明确支持的直通策略。地址一致性只是其中一项条件,实际还要核对 P2P 转发、固件、GPU/NIC 驱动和平台兼容性。生产环境按厂商对具体平台与版本的支持矩阵部署。验证应在保有既定隔离策略的测试环境进行,禁止为试验临时关闭隔离或修改生产节点的系统设置。CUDA GDR 对 IOMMU 的说明

两条显存注册路径

内存注册回答的是「这个 NIC 能否在给定权限和生命周期内访问这块 GPU Buffer」。下面两条路径都服务于这个问题。

1
2
DMA-BUF       GPU 驱动导出 GPU Buffer → DMA-BUF FD → RDMA 驱动导入和映射 → NIC DMA
Peer Memory RDMA 注册请求 → Peer Memory 接口 → nvidia-peermem 协调显存映射 → NIC DMA
维度 DMA-BUF nvidia-peermem
接口 Linux 跨设备缓冲区共享框架 NVIDIA 显存管理与 RDMA Peer Memory 接口
角色 GPU 驱动是 exporter,RDMA 侧是 importer RDMA 子系统通过 peer-memory 回调请求 GPU 显存的映射
设备访问 importer 对共享缓冲区建立适用于 NIC 的 DMA 映射,再完成 RDMA 注册 模块协调 GPU 驱动提供映射及生命周期管理,NIC 执行 DMA
部署核对 核对内核、GPU 驱动、NIC 驱动及平台是否支持这条路径 核对 Peer Memory 接口、模块加载情况和驱动版本匹配

DMA-BUF FD 是可传递的缓冲区引用。导入侧需要附着缓冲区并为自身设备建立映射。DMA-BUF 框架提供 fence 等同步机制,实际 GPU 与 NIC 的访问顺序、完成通知和缓冲区释放仍应遵循具体 API 和驱动约定。DMA-BUF 路径可以在未加载 nvidia-peermem 的情况下工作。NVIDIA GPU Operator 文档列出了两条路径及各自的前提。Linux DMA-BUF 文档 · NVIDIA GPU Operator 的 GDR 部署说明

3. 先读 PCIe 路径,再看 CPU 和内存的 NUMA 距离

GPU 到网卡经过哪些桥?

同一 PCIe Switch 下通常是较短的设备间路径。GPU 和 NIC 也可能分别接在同一个 Root Complex 的不同 Root Port 下,或接在不同 Socket 的 Root Complex 下。后一种布线若允许设备间访问,路径还可能占用 Socket 间带宽。用实际 PCIe 树确认桥接关系,再用平台兼容性和测试确认可用性与性能。

下面是一台假想双路服务器。每侧的 GPU 和 NIC 是同一交换机的两个下游设备,内存挂在本侧 CPU 的内存控制器上。

1
2
3
4
5
6
7
8
9
10
Node 0 / Socket 0                             Node 1 / Socket 1
Local RAM 0 Local RAM 1
│ │
CPU 0 ───────────── Socket Interconnect ────── CPU 1
│ │
Root Complex Root Complex
│ │
PCIe Switch 0 PCIe Switch 1
├── GPU 0 ├── GPU 1
└── NIC 0 └── NIC 1

nvidia-smi topo -m 给出 GPU、网卡之间的路径类别以及 GPU 的 CPU/内存亲和性。读图时以工具实际输出的图例为准。NVIDIA SMI 拓扑说明

标记 nvidia-smi topo -m 中的含义
X 设备自身
PIX 经过一个 PCIe Switch
PXB 经过多个 PCIe Switch,未经过 PCIe Host Bridge
PHB 经过 PCIe Host Bridge
NODE 经过同一 NUMA 节点内不同 PCIe Host Bridge 之间的互联
SYS 经过 PCIe 以及跨 NUMA 节点的系统互联
NV# GPU 间由指定数量的 NVLink 组成的连接

NUMA 从哪段路径影响性能?

在近似 UMA 的机器上,CPU 访问共享内存的成本相近。在典型的双路 NUMA 机器上,CPU 访问本地内存控制器的路径较短,访问另一侧的内存通常要经过 Socket 间互联。Linux 的 NUMA 节点是资源局部性域,可能包括 CPU、内存和 I/O 资源。一个 Socket 可以划分为多个 NUMA 节点,也可能出现仅含内存的节点。

概念 查看时关注什么
Socket 物理 CPU 封装或插槽
Core 物理核心数量
逻辑 CPU 操作系统调度单位。启用 SMT 时,一个 Core 可以有多个逻辑 CPU
NUMA Node CPU、内存及 I/O 资源的局部性域
NUMA distance Linux 给出的节点间相对距离。用实际测试度量延迟与带宽

GPU 和 NIC 同属一个 NUMA 节点时,仍需用 PCIe 树判断是否共享交换机。跨 NUMA 的 GPU–NIC 组合则要根据具体平台确认 P2P 能力。前者是设备间路径,CPU 线程到内存的距离是另一段路径。两段路径分别影响 NIC 读写显存,以及 CPU 管理通信、准备数据和访问主机缓冲区的成本。Linux NUMA 文档

DataLoader 通常让 CPU worker 读取并预处理数据,再通过主机缓冲区传给 GPU。检查 worker 所在 CPU、Host Memory 和页锁定内存的实际放置,以及目标 GPU 的 PCIe 归属。下面是单 NUMA 域任务的进程级示例。绑核和绑内存前,先确认作业配额、容器 cpuset 和本地内存容量。

1
numactl --cpunodebind=0 --membind=0 python train.py

多 GPU、多 NIC 的节点可以先试同侧 GPU 与 NIC 的配对,再与跨侧配对比较。多条网络通道的选择还受 NVLink、网卡及轨道分布、PCIe 带宽、集合通信图和网络插件影响。

4. Linux 上如何核对整条路径?

下面的命令用于检查已授权环境中的拓扑和驱动信息。PCI 地址和网卡接口要替换为现场设备。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# CPU、内存和 NUMA 节点
lscpu
numactl --hardware

# GPU、NIC、PCIe 桥接关系
nvidia-smi topo -m
nvidia-smi --query-gpu=index,pci.bus_id --format=csv
lspci -tv

# RDMA 设备、端口和网络接口对应关系
ibdev2netdev
ibv_devinfo

# 用实际 GPU PCI 地址和 NIC 接口名替换示例
cat /sys/bus/pci/devices/0000:af:00.0/numa_node
cat /sys/class/net/eth0/device/numa_node

# 仅用于查看传统 peer-memory 模块
lsmod | grep -E 'nvidia_peermem|nv_peer_mem'

先把训练 rank 看到的 GPU、RDMA 端口和 PCI 设备对应起来。sysfs 的 numa_node 返回 0 时表示节点 0,返回 -1 时应按 NUMA 归属未知处理,再结合 PCIe 树和亲和性信息判断。需要确认链路速率与宽度时,可对相应 BDF 用 lspci -vv -s 查看当前链路状态并与设备能力对照。

nvidia-smi topo -p2p 查询的是 GPU 对 GPU 的 P2P 能力。GPU 对 NIC 的 GDR 要结合具体驱动路径、注册和网络收发验证。模块列表只能帮助识别 legacy 路径,采用 DMA-BUF 时要看导入方支持和实际注册结果。NVIDIA SMI 拓扑说明 · NVIDIA GPU Operator GDR 文档

5. NCCL 如何决定是否走 GDR?

NCCL 在机内可以选择 NVLink 或 PCIe P2P,在跨节点连接上通过网络传输实现收发。它要组织集合通信图,并根据拓扑、硬件和消息大小选择算法与协议。Ring 或 Tree 决定各 rank 如何交换数据,GDR 注册和网络插件的选路决定 NIC 能从哪块缓冲区直接收发。相同的集合算法可以采用不同的数据传输路径。

环境变量与拓扑图例要分开读

NCCL_NET_GDR_LEVEL 控制 GPU 到 NIC 的常规 GDR 距离阈值;NCCL_P2P_LEVEL 控制 GPU 到 GPU 的 P2P 距离阈值。下表使用官方文档列出的字符串取值。

NCCL_NET_GDR_LEVEL 对常规 GPU–NIC 距离策略的影响
LOC 常规阈值策略下不使用 GDR
PIX 允许同一 PCIe Switch 下的 GPU 和 NIC 使用 GDR
PXB 将允许范围扩到经过多个 PCIe Switch 的路径
PHB 将允许范围扩到经过 PCIe Host Bridge 的档位
SYS 距离阈值放宽到跨 NUMA 互联,仍需硬件、驱动、内存注册和插件支持

NODE 可以出现在拓扑图例里,但不在 NCCL_NET_GDR_LEVEL 的文档取值表中。NVL 是 NCCL_P2P_LEVEL 的 GPU–GPU 取值,也不在 GDR 距离变量的文档取值表中。拓扑图描述实际连接类型,环境变量定义软件策略。使用字符串值并核对运行版本,避免把旧版整数映射套到当前版本。NCCL GDR 距离变量 · NCCL GPU–GPU P2P 变量

两项设置会影响发送侧的解读:

  • NCCL_NET_GDR_READ 管的是发送侧 NIC 是否直接 DMA 读取本地 GPU 显存。这里的读发生在本地设备之间,和远端是否发起 verbs RDMA READ 是两个层面的操作。NCCL GDR Read 说明
  • 在支持 NCCL_NET_GDR_C2C 的 NCCL 版本上,若 CPU 通过 C2C 与 GPU 相连,NIC 在 CPU 一侧且路径符合 PHB 条件,启用该选项可对该 NIC 覆盖常规 GDR 阈值。因此用 LOC 做对照时,要记录 NCCL 与插件版本、C2C 设置和实际传输日志。NCCL C2C 覆盖说明

用两台节点做对照

单节点运行 all_reduce_perf -g 8 可以观察机内八张卡的集合通信。要验证 InfiniBand 或 RoCE 上的 GDR,选至少两台真实测试节点,用 MPI 版 NCCL Tests 在两端各启动一个进程,先为每个进程分配一张 GPU 和一个明确的 RDMA 端口。用每个 rank 的日志确认主机与设备分布。NVIDIA NCCL Tests

检查 怎么做 记录什么
网络和 GPU 缓冲区基线 先用主机缓冲区确认 RDMA 通路,再用支持 CUDA GPU Buffer 的工具测相同端口上的直接读写。按版本选择 DMA-BUF 或 legacy 注册方式 实际注册类型、方向、正确性、时延和带宽
NCCL 默认选路 两端固定节点、GPU、网卡、端口、插件、消息大小、迭代数与预热参数 版本、拓扑、各 rank 的传输和 GDR 日志、AllReduce 时延与带宽
NCCL 对照 只对测试进程设置 NCCL_NET_GDR_LEVEL=LOC,确认 C2C 覆盖是否适用,并从日志确认对照确实使用主机中转 相同消息范围下的性能差、收发两侧路径,以及是否仍使用同一 RDMA 网络

NCCL_DEBUG=INFO 配合 NCCL_DEBUG_SUBSYS=INIT,NET,GRAPH 可用于查看初始化、网络传输和拓扑选择。结合插件日志确认选中的 NIC、使用的缓冲区与发送/接收方向。若对照连网络传输都变了,带宽差包含了额外变量,应先把网络路径对齐。专门的 GPU 缓冲区直测用于确认能力,NCCL 日志用于确认作业是否选用这条路径,端到端训练指标用于评估收益。NCCL 日志参数 · Linux RDMA perftest

6. 把术语放回训练通信栈

技术 主要作用 典型通信对象
PCIe P2P 让两个 PCIe 设备直接访问彼此可见的地址空间 PCIe 设备 ↔ PCIe 设备
GPUDirect P2P GPU 直接访问对端 GPU 缓冲区,可走 NVLink 或 PCIe GPU ↔ GPU
RDMA 通过网络访问已注册的远端内存,普通路径可用主机缓冲区 NIC ↔ 远端已注册内存
GPUDirect RDMA 让 RDMA NIC 直接读写本地 GPU 显存 NIC ↔ GPU
GPUDirect Storage 在受支持的存储和 GPU 显存之间建立直接数据路径 存储 ↔ GPU

从训练框架向下看,PyTorch 或 Megatron-LM 组织张量计算和并行策略,NCCL 组织集合通信,InfiniBand 或 RoCE 负责节点间传输。服务器内部,CUDA 和 GPU 显存提供缓冲区,NVLink/NVSwitch 或 PCIe P2P 承载机内 GPU 通信,DMA-BUF 或 peer-memory 提供 GPU–NIC 注册协作,PCIe 和 IOMMU 决定访问路径及映射条件。NUMA 则帮助放置 CPU 工作线程、主机内存和 I/O 任务。GPU Operator 的 GDR 与 GDS 说明

7. 排查顺序

  1. 先定位硬件路径。 核对 GPU/NIC 的 PCI Bus ID、RDMA 端口、NUMA 归属和进程绑核,再查交换机、Root Complex、链路宽度与速率。
  2. 再确认内存能否注册。 核对内核、GPU 驱动、RDMA Core、NIC 驱动、固件和 IOMMU 策略,确认实际使用 DMA-BUF 还是 legacy peer-memory。使用对应版本的兼容性说明解释失败原因。
  3. 最后验证作业走了哪条路。 在独立测试节点检查主机与 GPU 缓冲区的 RDMA 收发,再看多节点 NCCL 日志和对照结果。若作业仍慢,继续查 NIC 利用率、CPU 使用率、远端内存访问和端到端 step 时间。

这样能把「显存能否被网卡访问」「某次通信选了哪条路径」「这条路径是否改善了训练」分别落实到可观察的证据上。