GPUDirect RDMA(GDR)与 NUMA:GPU 服务器高速通信的底层原理与拓扑实践
GPUDirect RDMA 让网卡直接读写已注册的 GPU 显存,NUMA 帮助定位进程和内存的局部性,最终要用 PCIe 拓扑、网络插件日志和跨节点 GPU 缓冲区测试确认实际数据路径。
多机训练做 AllReduce、AllGather、ReduceScatter 或点对点收发时,数据通常在 GPU 显存中产生和消费。即使 InfiniBand 或 RoCE 链路已经跑通,每端仍可能把数据先复制到主机内存。要解释吞吐或延迟差异,先确认数据从哪块显存出发、经过哪张网卡,以及在哪一段使用了主机内存。
1. 从一段梯度看 GDR 的数据路径
考虑两个训练节点交换梯度。若 RDMA 注册的是 Host Memory,就需要在发送端执行 GPU 到主机的复制,在接收端把主机缓冲区再复制到 GPU。网卡仍用 DMA 收发,但两端都要为中转付出复制时间与主机内存带宽。
1 | 主机内存中转 |
发送端网卡可以直接读取本地 GPU 缓冲区,接收端网卡可以直接写入本地 GPU 缓冲区。两个方向能否使用直达路径,要分别看平台能力和通信库选路。CPU 仍负责通信初始化、内存注册、队列管理、同步和错误处理。GDR 减少的是数据面上的主机内存中转。NVIDIA GPUDirect RDMA 文档
2. 网卡怎么拿到可用的显存地址?
DMA、PCIe P2P 与 BAR1
DMA 让设备在获得有效地址和访问权限后自行搬运数据。以普通主机内存 RDMA 为例,应用向 RDMA 子系统注册缓冲区,驱动为网卡建立 DMA 映射和访问权限,网卡随后按注册信息读取或写入。GPU 显存需要 GPU 驱动与 RDMA 驱动协作完成注册和映射,CUDA 指针本身无法作为 NIC 的 DMA 地址。
PCIe P2P 允许设备向另一个设备暴露的地址窗口发出读写请求。例如 GPU 和 NIC 接在同一个 PCIe Switch 下,交换机可能直接转发 NIC 发往 GPU 的请求。网卡按映射后的地址访问字节,路径由设备、PCIe 层级、平台固件和驱动共同决定。
PCIe 的 BAR(Base Address Register)用于描述设备的地址窗口,系统枚举时为其分配地址范围。NVIDIA GPU 的 BAR1 可以把部分显存映射到 PCIe 可访问的窗口。映射建立的是地址对应关系,数据仍留在显存芯片上。窗口的容量和映射方式取决于 GPU、驱动及平台配置。NVIDIA GPUDirect RDMA 文档
IOMMU 与地址一致性
普通 DMA 中,设备发出的 DMA 地址可以由 IOMMU 转换并检查权限。它与 CPU 的虚拟地址转换是两条路径。
1 | CPU 访问内存 CPU 虚拟地址 → CPU MMU → 物理内存 |
对 CUDA GDR 文档所述路径,参与的 PCIe 设备须看到一致的物理地址,因此通常需要 1:1 地址转换,或采用该平台明确支持的直通策略。地址一致性只是其中一项条件,实际还要核对 P2P 转发、固件、GPU/NIC 驱动和平台兼容性。生产环境按厂商对具体平台与版本的支持矩阵部署。验证应在保有既定隔离策略的测试环境进行,禁止为试验临时关闭隔离或修改生产节点的系统设置。CUDA GDR 对 IOMMU 的说明
两条显存注册路径
内存注册回答的是「这个 NIC 能否在给定权限和生命周期内访问这块 GPU Buffer」。下面两条路径都服务于这个问题。
1 | DMA-BUF GPU 驱动导出 GPU Buffer → DMA-BUF FD → RDMA 驱动导入和映射 → NIC DMA |
| 维度 | DMA-BUF | nvidia-peermem |
|---|---|---|
| 接口 | Linux 跨设备缓冲区共享框架 | NVIDIA 显存管理与 RDMA Peer Memory 接口 |
| 角色 | GPU 驱动是 exporter,RDMA 侧是 importer | RDMA 子系统通过 peer-memory 回调请求 GPU 显存的映射 |
| 设备访问 | importer 对共享缓冲区建立适用于 NIC 的 DMA 映射,再完成 RDMA 注册 | 模块协调 GPU 驱动提供映射及生命周期管理,NIC 执行 DMA |
| 部署核对 | 核对内核、GPU 驱动、NIC 驱动及平台是否支持这条路径 | 核对 Peer Memory 接口、模块加载情况和驱动版本匹配 |
DMA-BUF FD 是可传递的缓冲区引用。导入侧需要附着缓冲区并为自身设备建立映射。DMA-BUF 框架提供 fence 等同步机制,实际 GPU 与 NIC 的访问顺序、完成通知和缓冲区释放仍应遵循具体 API 和驱动约定。DMA-BUF 路径可以在未加载 nvidia-peermem 的情况下工作。NVIDIA GPU Operator 文档列出了两条路径及各自的前提。Linux DMA-BUF 文档 · NVIDIA GPU Operator 的 GDR 部署说明
3. 先读 PCIe 路径,再看 CPU 和内存的 NUMA 距离
GPU 到网卡经过哪些桥?
同一 PCIe Switch 下通常是较短的设备间路径。GPU 和 NIC 也可能分别接在同一个 Root Complex 的不同 Root Port 下,或接在不同 Socket 的 Root Complex 下。后一种布线若允许设备间访问,路径还可能占用 Socket 间带宽。用实际 PCIe 树确认桥接关系,再用平台兼容性和测试确认可用性与性能。
下面是一台假想双路服务器。每侧的 GPU 和 NIC 是同一交换机的两个下游设备,内存挂在本侧 CPU 的内存控制器上。
1 | Node 0 / Socket 0 Node 1 / Socket 1 |
nvidia-smi topo -m 给出 GPU、网卡之间的路径类别以及 GPU 的 CPU/内存亲和性。读图时以工具实际输出的图例为准。NVIDIA SMI 拓扑说明
| 标记 | nvidia-smi topo -m 中的含义 |
|---|---|
X |
设备自身 |
PIX |
经过一个 PCIe Switch |
PXB |
经过多个 PCIe Switch,未经过 PCIe Host Bridge |
PHB |
经过 PCIe Host Bridge |
NODE |
经过同一 NUMA 节点内不同 PCIe Host Bridge 之间的互联 |
SYS |
经过 PCIe 以及跨 NUMA 节点的系统互联 |
NV# |
GPU 间由指定数量的 NVLink 组成的连接 |
NUMA 从哪段路径影响性能?
在近似 UMA 的机器上,CPU 访问共享内存的成本相近。在典型的双路 NUMA 机器上,CPU 访问本地内存控制器的路径较短,访问另一侧的内存通常要经过 Socket 间互联。Linux 的 NUMA 节点是资源局部性域,可能包括 CPU、内存和 I/O 资源。一个 Socket 可以划分为多个 NUMA 节点,也可能出现仅含内存的节点。
| 概念 | 查看时关注什么 |
|---|---|
| Socket | 物理 CPU 封装或插槽 |
| Core | 物理核心数量 |
| 逻辑 CPU | 操作系统调度单位。启用 SMT 时,一个 Core 可以有多个逻辑 CPU |
| NUMA Node | CPU、内存及 I/O 资源的局部性域 |
| NUMA distance | Linux 给出的节点间相对距离。用实际测试度量延迟与带宽 |
GPU 和 NIC 同属一个 NUMA 节点时,仍需用 PCIe 树判断是否共享交换机。跨 NUMA 的 GPU–NIC 组合则要根据具体平台确认 P2P 能力。前者是设备间路径,CPU 线程到内存的距离是另一段路径。两段路径分别影响 NIC 读写显存,以及 CPU 管理通信、准备数据和访问主机缓冲区的成本。Linux NUMA 文档
DataLoader 通常让 CPU worker 读取并预处理数据,再通过主机缓冲区传给 GPU。检查 worker 所在 CPU、Host Memory 和页锁定内存的实际放置,以及目标 GPU 的 PCIe 归属。下面是单 NUMA 域任务的进程级示例。绑核和绑内存前,先确认作业配额、容器 cpuset 和本地内存容量。
1 | numactl --cpunodebind=0 --membind=0 python train.py |
多 GPU、多 NIC 的节点可以先试同侧 GPU 与 NIC 的配对,再与跨侧配对比较。多条网络通道的选择还受 NVLink、网卡及轨道分布、PCIe 带宽、集合通信图和网络插件影响。
4. Linux 上如何核对整条路径?
下面的命令用于检查已授权环境中的拓扑和驱动信息。PCI 地址和网卡接口要替换为现场设备。
1 | # CPU、内存和 NUMA 节点 |
先把训练 rank 看到的 GPU、RDMA 端口和 PCI 设备对应起来。sysfs 的 numa_node 返回 0 时表示节点 0,返回 -1 时应按 NUMA 归属未知处理,再结合 PCIe 树和亲和性信息判断。需要确认链路速率与宽度时,可对相应 BDF 用 lspci -vv -s 查看当前链路状态并与设备能力对照。
nvidia-smi topo -p2p 查询的是 GPU 对 GPU 的 P2P 能力。GPU 对 NIC 的 GDR 要结合具体驱动路径、注册和网络收发验证。模块列表只能帮助识别 legacy 路径,采用 DMA-BUF 时要看导入方支持和实际注册结果。NVIDIA SMI 拓扑说明 · NVIDIA GPU Operator GDR 文档
5. NCCL 如何决定是否走 GDR?
NCCL 在机内可以选择 NVLink 或 PCIe P2P,在跨节点连接上通过网络传输实现收发。它要组织集合通信图,并根据拓扑、硬件和消息大小选择算法与协议。Ring 或 Tree 决定各 rank 如何交换数据,GDR 注册和网络插件的选路决定 NIC 能从哪块缓冲区直接收发。相同的集合算法可以采用不同的数据传输路径。
环境变量与拓扑图例要分开读
NCCL_NET_GDR_LEVEL 控制 GPU 到 NIC 的常规 GDR 距离阈值;NCCL_P2P_LEVEL 控制 GPU 到 GPU 的 P2P 距离阈值。下表使用官方文档列出的字符串取值。
NCCL_NET_GDR_LEVEL |
对常规 GPU–NIC 距离策略的影响 |
|---|---|
LOC |
常规阈值策略下不使用 GDR |
PIX |
允许同一 PCIe Switch 下的 GPU 和 NIC 使用 GDR |
PXB |
将允许范围扩到经过多个 PCIe Switch 的路径 |
PHB |
将允许范围扩到经过 PCIe Host Bridge 的档位 |
SYS |
距离阈值放宽到跨 NUMA 互联,仍需硬件、驱动、内存注册和插件支持 |
NODE 可以出现在拓扑图例里,但不在 NCCL_NET_GDR_LEVEL 的文档取值表中。NVL 是 NCCL_P2P_LEVEL 的 GPU–GPU 取值,也不在 GDR 距离变量的文档取值表中。拓扑图描述实际连接类型,环境变量定义软件策略。使用字符串值并核对运行版本,避免把旧版整数映射套到当前版本。NCCL GDR 距离变量 · NCCL GPU–GPU P2P 变量
两项设置会影响发送侧的解读:
NCCL_NET_GDR_READ管的是发送侧 NIC 是否直接 DMA 读取本地 GPU 显存。这里的读发生在本地设备之间,和远端是否发起 verbs RDMA READ 是两个层面的操作。NCCL GDR Read 说明- 在支持
NCCL_NET_GDR_C2C的 NCCL 版本上,若 CPU 通过 C2C 与 GPU 相连,NIC 在 CPU 一侧且路径符合PHB条件,启用该选项可对该 NIC 覆盖常规 GDR 阈值。因此用LOC做对照时,要记录 NCCL 与插件版本、C2C 设置和实际传输日志。NCCL C2C 覆盖说明
用两台节点做对照
单节点运行 all_reduce_perf -g 8 可以观察机内八张卡的集合通信。要验证 InfiniBand 或 RoCE 上的 GDR,选至少两台真实测试节点,用 MPI 版 NCCL Tests 在两端各启动一个进程,先为每个进程分配一张 GPU 和一个明确的 RDMA 端口。用每个 rank 的日志确认主机与设备分布。NVIDIA NCCL Tests
| 检查 | 怎么做 | 记录什么 |
|---|---|---|
| 网络和 GPU 缓冲区基线 | 先用主机缓冲区确认 RDMA 通路,再用支持 CUDA GPU Buffer 的工具测相同端口上的直接读写。按版本选择 DMA-BUF 或 legacy 注册方式 | 实际注册类型、方向、正确性、时延和带宽 |
| NCCL 默认选路 | 两端固定节点、GPU、网卡、端口、插件、消息大小、迭代数与预热参数 | 版本、拓扑、各 rank 的传输和 GDR 日志、AllReduce 时延与带宽 |
| NCCL 对照 | 只对测试进程设置 NCCL_NET_GDR_LEVEL=LOC,确认 C2C 覆盖是否适用,并从日志确认对照确实使用主机中转 |
相同消息范围下的性能差、收发两侧路径,以及是否仍使用同一 RDMA 网络 |
NCCL_DEBUG=INFO 配合 NCCL_DEBUG_SUBSYS=INIT,NET,GRAPH 可用于查看初始化、网络传输和拓扑选择。结合插件日志确认选中的 NIC、使用的缓冲区与发送/接收方向。若对照连网络传输都变了,带宽差包含了额外变量,应先把网络路径对齐。专门的 GPU 缓冲区直测用于确认能力,NCCL 日志用于确认作业是否选用这条路径,端到端训练指标用于评估收益。NCCL 日志参数 · Linux RDMA perftest
6. 把术语放回训练通信栈
| 技术 | 主要作用 | 典型通信对象 |
|---|---|---|
| PCIe P2P | 让两个 PCIe 设备直接访问彼此可见的地址空间 | PCIe 设备 ↔ PCIe 设备 |
| GPUDirect P2P | GPU 直接访问对端 GPU 缓冲区,可走 NVLink 或 PCIe | GPU ↔ GPU |
| RDMA | 通过网络访问已注册的远端内存,普通路径可用主机缓冲区 | NIC ↔ 远端已注册内存 |
| GPUDirect RDMA | 让 RDMA NIC 直接读写本地 GPU 显存 | NIC ↔ GPU |
| GPUDirect Storage | 在受支持的存储和 GPU 显存之间建立直接数据路径 | 存储 ↔ GPU |
从训练框架向下看,PyTorch 或 Megatron-LM 组织张量计算和并行策略,NCCL 组织集合通信,InfiniBand 或 RoCE 负责节点间传输。服务器内部,CUDA 和 GPU 显存提供缓冲区,NVLink/NVSwitch 或 PCIe P2P 承载机内 GPU 通信,DMA-BUF 或 peer-memory 提供 GPU–NIC 注册协作,PCIe 和 IOMMU 决定访问路径及映射条件。NUMA 则帮助放置 CPU 工作线程、主机内存和 I/O 任务。GPU Operator 的 GDR 与 GDS 说明
7. 排查顺序
- 先定位硬件路径。 核对 GPU/NIC 的 PCI Bus ID、RDMA 端口、NUMA 归属和进程绑核,再查交换机、Root Complex、链路宽度与速率。
- 再确认内存能否注册。 核对内核、GPU 驱动、RDMA Core、NIC 驱动、固件和 IOMMU 策略,确认实际使用 DMA-BUF 还是 legacy peer-memory。使用对应版本的兼容性说明解释失败原因。
- 最后验证作业走了哪条路。 在独立测试节点检查主机与 GPU 缓冲区的 RDMA 收发,再看多节点 NCCL 日志和对照结果。若作业仍慢,继续查 NIC 利用率、CPU 使用率、远端内存访问和端到端 step 时间。
这样能把「显存能否被网卡访问」「某次通信选了哪条路径」「这条路径是否改善了训练」分别落实到可观察的证据上。