假设一家训练平台同时运营两个自建 IDC 和两家公有云,每个站点都有独立的 Kubernetes 集群。平台要统一下发训练任务,分发镜像、数据集和模型,并收集监控、日志与 Checkpoint。单个训练作业的所有 Worker 放在同一个计算域,成组 GPU 通信留在域内。这个前提决定了广域网主要承载管理、服务访问和数据同步,站点内的计算 Fabric 则按集合通信的负载单独设计与验收。

1. 按业务流量划分网络

先为每类流量指定端点、路径和故障影响,再决定是否接入 WAN。不同云的 VPC 和自建 IDC 的 VRF 可以接入同一套路由治理。每个集群仍保有自己的 API、CNI、服务和本地计算域。

流量 常用路径 站点之间的边界
集群管理、任务下发、监控日志 站点管理网到平台 API 或代理 发布管理入口与必要回程,集群继续运行本地控制循环
镜像、模型和平台服务 私有服务入口、内部 DNS、镜像代理或区域副本 只开放实际使用的服务和调用身份
数据预热、Checkpoint 复制 区域存储到中心存储的传输链路 按版本、容量和优先级治理,给控制流量保留容量
Pod 与 Service 站点内 CNI,跨站点按需求经 Gateway 或 Mesh 区分服务可访问和 Pod IP 可达
NCCL 集合通信 同一计算域内的 IB、RoCEv2 或云高性能网络 完整 Worker 组落在同一可通信域,域间传输数据和模型产物
设备带外管理 OOB 网络、受控跳板或专用接入 单独划分访问路径与权限

图中每个 IDC 或云站点都有独立的 WAN 接入。站点按类型归并显示。站点内可为普通 Pod 使用 VPC 路由或 VXLAN,而 GPU Worker 的计算口另有本地路径。配置中要明确 WAN 中断时的行为,例如已启动且已预热数据的本地作业能否继续,新任务派发是否暂停,未完成的 Checkpoint 复制是否留在本地队列。跨站点恢复意味着在目标计算域重新启动完整 Worker 组,再从已复制的 Checkpoint 恢复。 VPC 虚拟网络架构与数据面实现

2. 先做 IPAM,再决定哪些前缀可发布

地址规划要区分分配范围和可达范围。IPAM 里可以为各集群预留地址,却只向 WAN 发布必要的网络前缀。下表是一套示例,实际分配前应与现有 IDC、云网段、VPN 地址池、合作方接入和故障恢复站点交叉校验。

地址池 示意前缀 用途
IDC 10.0.0.0/10 按站点预留管理、存储、Node 和 OOB 子地址池
云上 VPC 10.64.0.0/10 按云、地域和业务用途分配 VPC
独立的 Pod 地址池 10.128.0.0/10 用于需要单独 Pod CIDR 的网络模式
Service 地址池 10.240.0.0/16 从 10.192.0.0/10 中划出,进一步按集群切分
预留 10.192.0.0/10 中尚未分配的部分 城市、区域、专线或新业务网络扩容
集群 示例 Node 网段 独立 Pod CIDR 示例 Service CIDR 示例
IDC-A 10.2.0.0/24 10.128.0.0/16 10.240.0.0/20
IDC-B 10.6.0.0/24 10.130.0.0/16 10.240.32.0/20
Cloud-A 10.64.16.0/20 10.131.0.0/16 10.240.48.0/20
Cloud-B 10.80.16.0/20 10.132.0.0/16 10.240.64.0/20

示例 Cloud-A Training VPC 可取 10.64.0.0/16,再将 10.64.0.0/20 用作管理、10.64.16.0/20 用作 GPU 节点、10.64.32.0/20 用作存储访问。云端表里的独立 Pod CIDR 适用于相应的独立地址池模式。以 Amazon VPC CNI 为例,Pod 地址来自 VPC。此时须按实际 ENI 分配方式和峰值 Pod 密度给 VPC 子网留容量,IPAM 账本也应登记实际使用的子网。 Amazon VPC CNI 的 Pod 地址分配

独立集群的 Service CIDR 可以按治理要求规划为不重叠,尤其是考虑未来跨集群扩展时。常规互联通过可路由的负载均衡器或 Gateway,ClusterIP 仍由各集群处理。RoCEv2 另给计算接口分配地址,例如 IDC-B 使用 172.21.0.0/16,只在该计算域内路由。对于原生 InfiniBand,要单独管理 Fabric 和分区,只有启用 IPoIB 时才为其 IP 流量另做地址规划。 Kubernetes 集群网络 · NVIDIA NCCL 网络排障文档

已经存在重叠网段时,可以先在各自的路由域维护它们,用 Gateway 或受控 NAT 暴露必要服务。真正做源地址保留的双向直连时,需要先解决前缀冲突和回程问题。IPAM 除前缀外可记录站点、VRF、所有者、分配状态及允许发布的范围,并在变更合并前检查重叠和异常汇总。

3. 企业 Hub、云 Transit 和 BGP 如何配合

企业 Hub 是一个逻辑转发与策略入口。它可以由成对边界路由器、企业专网、SD-WAN 或云交换接入共同实现,各 IDC 与云网络作为独立 Spoke 接入。云内的 Transit 负责连接本云 VPC 和边界接入,跨云转发需验证各侧附件是否允许所需流向、前缀与地域。对于跨云的大批量数据同步,可单独规划路径或区域副本,避免挤占 Hub 上的控制和业务流量。

能力 阿里云 AWS Azure
私有网络 VPC VPC VNet
云端中转 CEN Transit Router Transit Gateway Virtual WAN 虚拟 Hub
IDC 专线接入 Express Connect 与 VBR 等边界组件 Direct Connect,按架构经 DX Gateway 接入 ExpressRoute 与相应云侧网关
加密备份 IPsec VPN 接入 Site-to-Site VPN Site-to-Site VPN

这张表用来定位组件。具体设计要逐项核对附件类型、路由表关联、路由传播、可用地域和限额。例如 AWS Transit Gateway 中,附件关联到的路由表影响该附件进入后的查路由,传播关系决定哪些附件前缀进入指定路由表。阿里云同地域场景可把 VBR 和 VPC 连接到企业版 Transit Router,并配置需要的学习与传播关系。Azure 的跨云接入可经 Cloud Exchange 对接双方专线服务。 AWS Transit Gateway 路由表 · 阿里云 CEN 云下互联 · Azure 跨区域与多云连接

3.1 用一条访问链路核对双向路由

假设 IDC-A 中的代理从 Node 网段 10.2.0.0/24 去访问 Cloud-A Platform VPC(10.66.0.0/16)内的私有服务。

  1. IDC 边界从云侧或企业 Hub 学到 10.66.0.0/16,下一跳指向计划中的专线接入。
  2. 云 Transit 对来自 IDC 的流量查适用的路由表,定位 Platform VPC 附件。
  3. Platform VPC 的回程需要能把 10.2.0.0/24 送到 Transit。Transit 的反方向路由要指向正确的 IDC 附件。
  4. 请求和响应还要通过沿途 ACL、防火墙和云安全策略。应用侧接着验证 DNS、TLS 和调用权限。

只在邻居表看到 BGP 已建立,无法确认这条访问链已打通。核对范围应包括路由安装、实际转发、回程路径和应用探测。如果经过有状态设备,还需要核对双向路径与状态保持方式。

3.2 把路由传播写成矩阵

前缀 企业 WAN 云 Transit 计算 Fabric
平台管理服务或受控 Node 范围 按需发布 仅需要的附件 独立
区域数据服务端点 按需发布并限制访问 仅访问方 独立
Pod CIDR 只有直连需求时按范围发布 仅接入的集群或路由域 独立
ClusterIP 地址池 保留集群内处理 保留集群内处理 独立
RoCE 计算地址及 OOB 地址 分别留在计算域和专用管理域 分别留在计算域和专用管理域 只承载本域计算地址

生产接入可以使用 BGP 入站和出站前缀清单、最大前缀数和路由表分段。聚合路由要对应真实的归属和可达性,否则会把未分配的地址或失效站点吸到错误出口。两条专线要核对实际故障域,例如接入口、运营商段、边界路由器与供电。备用 VPN 要按较小带宽和不同 MTU 验收,测量真正的服务恢复时间。切换测试还应覆盖专线链路看起来在线、业务流量却中断的情形。

4. Kubernetes 多集群互联按需求升级

需求 建设方式 核对项
访问镜像、对象存储、模型服务或平台 API 私有负载均衡器或 Gateway,加内部 DNS 保留最小发布范围,核对双向路由、域名、TLS、鉴权和健康检查
跨集群服务发现和负载分发 在受控信任域内接入 Cilium Cluster Mesh 等机制 核对接入集群的模式、版本、地址、证书、服务暴露和网络策略
保留 Pod 源 IP 的直接互通 在确认路径可承载 Pod 前缀后做选择性路由 核对双向可达、地址冲突、源地址转换、策略和路径 MTU

Cilium 封装模式把跨节点 Pod 流量承载在节点之间的 VXLAN 或 Geneve 隧道上。底层要能到达节点,还要允许隧道流量并给封装留出 MTU。Native Routing 则要求底层能够路由非本地 Pod 地址,可以借助 BGP、静态路由或由网络环境提供的路由能力。Cilium BGP Control Plane 负责宣告路由,节点和网络设备的数据面仍需具备相应转发能力。每个集群在其环境中选择并验证 CNI,既有 Calico 或云原生 CNI 可以与 Gateway 方式共存。 Cilium 路由模式 · Cilium BGP Control Plane

Cluster Mesh 本身有额外前提。按 Cilium 的安装文档,参与集群要使用相同数据面模式,Pod CIDR 无冲突,节点按配置的 InternalIP 互通,集群名和 ID 唯一,并满足相关版本及防火墙要求。原生路由模式下还要验证集群间 Pod 可达和相关原生路由 CIDR 配置。普通 BGP 互通可以让 Pod IP 到达对端,跨集群服务发现与身份传播仍需明确的控制机制。 Cilium Cluster Mesh 接入条件

5. 每个 GPU 计算域独立设计和验收

计算域是一个作业可以共同使用的节点与网络范围。一个 Kubernetes 集群可以容纳多个计算域,平台应先选定域,再把一组 Worker 提交到域内;仅统计全平台有多少张空闲卡,无法判断一次成组训练能否落位。

场景 计算网络 主要设计项
IDC-A,示例 32 台八卡服务器 InfiniBand Subnet Manager、端口与路径状态、分区、节点与 rail 的对应关系
IDC-B,示例 64 台八卡服务器 RoCEv2 IP 可达性、端到端 MTU、优先级映射、拥塞反馈、队列和缓冲
云上 GPU 计算域 云厂商支持的高性能网络 支持的实例和部署范围、驱动及通信插件、实际扩展性能

对于原生 IB,Subnet Manager 负责 Fabric 初始化与管理,可按平台能力使用 P_Key 分区。对于 RoCEv2,要在这条以太网路径上核对拥塞处理策略。若部署采用 PFC、ECN 和 DCQCN,要分别核对 PFC 的优先级与逐跳暂停、交换机的 ECN 标记、网卡发出的 CNP 和发送方的速率反应。VRF 可以划分路由域,缓冲队列和链路容量仍需单独规划。云上也可能提供另一套传输机制,例如 AWS EFA 通过 Libfabric 支持 NCCL 等工作负载。 NVIDIA NCCL 网络排障 · NVIDIA IB Subnet Manager 与分区 · NVIDIA RoCE · AWS EFA

5.1 容量和双 rail 需要用拓扑与流量验证

计算 Leaf 的容量时要按同一方向分别加总端口。假设一台 Leaf 下联 32 个 200 Gbit/s 端口、上联 8 个 400 Gbit/s 端口,下联总容量为 6.4 Tbit/s,上联为 3.2 Tbit/s。从下联到上联的名义收敛比为 2:1。这描述跨 Leaf 流量共享上行的约束,同一 Leaf 内的流量以及实际 AllReduce 性能要结合拓扑和测量分析。

双 rail 的设计要核对每台服务器的 HCA、端口、PCIe/NUMA 位置和 GPU 亲和性,并标出它们所连的 Leaf、Spine 与故障域。两张卡如果共享同一条上行瓶颈,能否聚合带宽仍由真实路径决定。NCCL 的跨 NIC 策略也与 rail 布线相关,应按目标配置比较单 rail、双 rail 及故障时的行为。 NVIDIA NCCL 的跨 NIC 选择

5.2 普通 Pod 网和 RDMA 设备分别接入

以 IDC-B 的以太网 SR-IOV VF 接入为例,一个训练 Pod 可以同时拥有两条面向不同流量的路径。

组件 在链路中的职责
主 CNI 提供默认 Pod 网络和由该 CNI 实现的网络策略
Multus 与 NetworkAttachmentDefinition(NAD) 选择附加网络,调用相应的次级 CNI
SR-IOV Device Plugin 发现并声明可分配的 VF 资源,供 kubelet 分配
SR-IOV CNI 根据已分配的设备配置 VF 的网络接口及相应参数
RDMA 设备接入与运行时配置 让容器实际可见对应的 RDMA 设备,并满足驱动、权限和命名空间要求
NCCL 选择受支持的通信传输并执行 GPU 集合操作

获得一个独占 VF,通常意味着可独占使用这个功能实例。底层物理链路和部分硬件资源仍可能共享,带宽保证需要结合 NIC 队列或限速策略、交换机 QoS 以及容量验收。RDMA Shared Device Plugin 可以让多个 Pod 使用同一设备资源池,适用场景要根据隔离与争用要求评估。IB 与以太网 VF 的 CNI、设备暴露方式也应分别验证。 SR-IOV CNI 文档 · NVIDIA SR-IOV RDMA 部署 · RDMA Shared Device Plugin · SR-IOV 与 VFIO 的设备边界

5.3 一个从资源分配到 NCCL 选路的示例

假设 training 命名空间已创建 rdma-net,NAD 通过 k8s.v1.cni.cncf.io/resourceName 关联 example.com/rdma_vf。节点已部署相应设备插件和次级 CNI。下面是单个 Worker 的 Pod 说明,域标签、镜像、资源名和网卡名均需按实际环境填写。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
apiVersion: v1
kind: Pod
metadata:
name: training-worker-01
namespace: training
annotations:
k8s.v1.cni.cncf.io/networks: rdma-net
spec:
nodeSelector:
ai.example.com/fabric-domain: idc-b-roce-01
containers:
- name: trainer
image: registry.example.com/ai/trainer:v1
resources:
requests:
nvidia.com/gpu: 8
example.com/rdma_vf: 1
limits:
nvidia.com/gpu: 8
example.com/rdma_vf: 1

同一作业的各个 Worker 应使用一致的目标计算域约束。这个 Pod 只示范设备和网络申请,训练作业的成员数、启动顺序和进程协作要由上层训练控制器组织。 Kubernetes 扩展资源 · Multus 配置文档

在采用 NCCL 内置 IB Verbs 传输的场景,可先在容器内用 rdma link show 和 ibv_devinfo 核对 Verbs 设备与端口。某个示例 Pod 中,若 eth0 是预期的 IP Socket 接口、mlx5_0 的端口 1 对应已分配的计算网络,可临时使用如下设置观察选路。

1
2
3
4
export NCCL_SOCKET_IFNAME='=eth0'
export NCCL_IB_HCA='=mlx5_0:1'
export NCCL_DEBUG=INFO
export NCCL_DEBUG_SUBSYS=INIT,NET

NCCL_SOCKET_IFNAME 约束 NCCL 使用的 IP 接口,NCCL_IB_HCA 约束内置 Verbs 路径可用的 HCA 和端口。确认通信走了预期路径,还要看各 rank 的网络插件或传输选择日志,并结合网卡、交换机计数和跨节点实测。云平台自带插件的参数按其文档配置。 NVIDIA NCCL 环境变量 · NVIDIA NCCL 网络排障

6. 让训练读本地副本,把跨站点传输安排在同步链路

可把中心对象存储作为发布入口,在站点内准备区域副本、缓存或并行文件系统。训练前按数据版本预热,运行时从站点内读取。数据同步按业务优先级限速,度量批量传输和缓存未命中时对 WAN 的影响。模型和镜像也可以按类似思路在站点侧做版本化缓存或副本。

用一个粗算例评估是否需要预热。如果目标站点可持续获得 12 Gbit/s 的有效传输带宽,复制 20 TiB 数据约需 4.1 小时,还要留出排队、校验和重试时间。若四个作业各需每 15 分钟复制 1 TiB Checkpoint,持续平均需求约为 39.1 Gbit/s。在同一条 12 Gbit/s 链路上,异步上传可以暂存峰值,却会在长期平均速率超出容量时形成积压。应按 Checkpoint 的真实增量、复制节奏和可接受的恢复点重新预算。

Checkpoint 先在本地按训练框架的保存协议完成,并确认各 rank 的必要分片写入成功。然后以同一版本标识复制全部对象及元数据。远端校验完整后再登记为可恢复版本,可以通过独立的完成标记或索引记录实现。验收时在另一个计算域从这份副本真正恢复一次,测量最后可用版本落后多久,以及恢复到继续训练要多久。 PyTorch Distributed Checkpoint

7. 把隔离规则和验收口径写进方案

管理域和业务域用 VRF、云路由表、ACL、安全组或防火墙分隔。集群内按租户设置最小必要的 Pod 访问策略,并由支持相应策略的 CNI 执行。对 SR-IOV 次级网络,应单独核对其策略执行路径;主 CNI 的 NetworkPolicy 是否覆盖次级接口取决于实现。计算域按实际技术使用 IB 分区、VLAN/VRF、ACL 或独立 Fabric,并测试跨租户访问被拦截。OOB 管理入口通过独立跳板与审计接入,跨站点数据则按业务分类定义加密和访问权限。 Kubernetes NetworkPolicy · NVIDIA IB 分区文档

验收层 测试方法 记录什么
物理与 WAN 查光口和链路计数,分别模拟专线、边界设备或接入点失效 双向中断时间、切换后的可用带宽与 MTU、回切稳定性
路由与权限 从许可和禁用的源各发起访问,核对云 Transit、VPC 和 IDC 回程表 正确发布的前缀、应隔离的前缀、应用探测及拦截证据
Kubernetes 跨节点和跨集群验证 Pod 或 Gateway 路径,检查 DNS、证书和 NetworkPolicy 业务访问、策略生效和站点失联后的降级行为
RDMA 与集合通信 先测点对点 Verbs 带宽/延迟,再用多节点 nccl-tests 和真实训练测同机架、跨 Leaf 与跨 rail RDMA 路径日志、计数器、AllReduce 正确性、algbw 和 busbw、实际 Step Time
数据与恢复 做数据预热、缓存故障、复制积压与异站点恢复测试 吞吐、缓存命中率、恢复点落后量和恢复耗时

nccl-tests 的 algbw 是按操作数据量和耗时计算的算法带宽。 busbw 还按集合通信类型做了归一化,具体某条链路的流量要结合端口计数看。不同测试应保存节点数、消息大小、NCCL 版本、rail 和拓扑信息。阈值用本环境基线和业务 SLO 定义。 NVIDIA nccl-tests 性能口径

8. 从最小可用网络开始建设

  1. 盘点与规划。 记录地址、站点、云地域、物理链路、NIC/GPU 拓扑、CNI 和数据流。交付站点拓扑图、IPAM 表、前缀传播矩阵、责任人和故障回滚条件。
  2. 打通最小互联。 先让集群可管理,镜像和平台服务可访问,监控日志可上报。上线前测专线、VPN、双向路由和负向访问。
  3. 本地验收训练。 各站点分别完成 Fabric、RDMA 设备接入和成组训练验证。将可通过验证的节点标记为相应计算域,再向平台开放。
  4. 补齐数据分发和站点恢复。 用真实数据集与 Checkpoint 校验有效带宽、本地缓存策略、恢复点和恢复时间。
  5. 按业务扩展跨集群互通。 用 Gateway 先暴露必要服务,对确实需要共享服务发现或 Pod 直连的范围再建设 Mesh 或路由,并重复安全与故障测试。

可用 NetBox 等工具保存地址与网络资产,云资源和设备变更再分别通过 Terraform/OpenTofu、Ansible 或 GitOps 管理。每次新增站点、前缀或计算域时,用同一份准入与验收表检查地址冲突、路由传播、访问权限、数据路径和训练回退行为。