假设一个训练作业需要三个 worker,每个 worker 都占用一台带 RDMA 的 GPU 节点。机房里有一个域还剩两台,另外两个域各剩一台。逐个给 Pod 选节点,三个 worker 可能正好分散到三个域。先看整个作业,只要从两个域各取一部分资源就能放下。

Sky-Scheduler 用的是第二种思路。它把网卡到交换机的信息压成节点的 RDMA 域键,先为 Job 找一个能覆盖总需求的最小域组合,再用 Quota 和节点的谓词、评分及序号完成落位。这里的“最小”指域的数量最少。域键相等是网络局部性的代理指标,调度过程中没有按交换机跳数、链路带宽或实时拥塞计算通信代价。

文中用 Sky-Scheduler 指代所分析的调度器。下文的节点、域名和资源数字都用于算法推演。

从训练通信看调度的三个阶段

当 NCCL 执行 AllReduce 时,各 rank 都参与归约,并各自拿到归约结果。假设六台 GPU 服务器分接到两台 Leaf 交换机,每台 Leaf 下有三台服务器。一个需要三台服务器的 Job 如果选了 A 下的一台和 B 下的两台,跨这两组 Worker 的通信就要经过跨 Leaf 路径。如果 A 下三台都可用,整组放在 A 下可以避免这部分跨 Leaf 流量。把 Worker 聚集在少数域里,是 Sky-Scheduler 为集合通信争取网络局部性的方式,实际收益还取决于布线和通信路径。NVIDIA NCCL 集合通信文档

下图自上而下依次是拓扑发现、域组合选择、节点分配。第一阶段拿到物理连接,第二阶段以 Job 为单位比较域容量,第三阶段回到逐个 Quota 的单节点约束。

1. 用网卡的对端交换机给节点分组

拓扑探测组件将结果写入与 Node 同名的 NodeTopology 对象。调度器的 informer 将它读入缓存,随后进入每轮调度的 Session 快照。

网络 探测链路 写入的信息
RoCE 从 CNI 配置中取 macvlan 的 master,遇到 bond 就展开到成员网卡,再用 LLDP 找对端交换机,用 rdma link -j 关联 RDMA 设备 RDMA 设备名、交换机名,以及探测到的交换机属性
InfiniBand 选出可用的 RDMA 接口,通过 ibnetdiscover 拉取拓扑,由解析脚本提取主机网卡与交换机的关系,再按主机名映射回 Kubernetes Node RDMA 网卡名及其连接的交换机名

探测器优先使用 IB 网卡记录,缺少 IB 时才用 RoCE。它对交换机名排序、以逗号拼接,取 MD5 写入 NodeTopology.labels.zone。因此,连接 [leaf-a, leaf-b] 和 [leaf-b, leaf-a] 的两个节点得到同一个域名。重复的交换机名会保留,[leaf-a, leaf-a] 与 [leaf-a] 的签名不同。用三台双网卡节点展开来看:

节点 网卡 0 的对端 网卡 1 的对端 排序后拼接 自动分组
Node 1 Leaf A Leaf B Leaf A,Leaf B 域 X
Node 2 Leaf B Leaf A Leaf A,Leaf B 域 X
Node 3 Leaf C Leaf D Leaf C,Leaf D 域 Y

这里的 RDMA 域是调度器构造的逻辑分组。自动分组依据 Node 所连的交换机签名,签名相同可以说明节点接到了同一组交换机,实际链路带宽和延迟仍需单独观察。

调度器读域名时,优先级从高到低为 Node 上的 RDMA 域注解 → NodeTopology 上的同名注解 → NodeTopology 的 zone 标签 → 调度器用 NIC 数据构造的键。最后一种是形如 ib#leaf-a,leaf-b 或 roce#leaf-a,leaf-b 的字符串。当前实现会先查找同名的 NodeTopology,查不到就直接得到空字符串,哪怕 Node 自己已经写了域注解。命名域管理器也会按这个空键分组,因此排查时需要区分“确实接在同一组交换机”和“没有探测记录而进入了同一个空键分组”。

2. 默认按 RDMA 域切分,也可按编号连续性切分

每轮 Session 开始时,插件先按资源规格为节点分桶。节点从标签中提取规格,Job 侧用取到的第一个有 Pod 的 Task 的 nodeSelector 查对应规格桶。没有规格标签时有默认的资源池规格。能进入域初始候选池的节点需满足 Ready、没有已挂接的 Quota、没有 taint。域容量用成员节点可供 Quota 分配的资源相加。

算法 如何组成一个域 插件默认权重
RDMA 命名域 域键完全相同的候选节点归为一组 100
节点编号连续性 按节点编号排序,相邻编号差为 0 或 1 时合并,遇到缺口就切成两段 0

节点编号优先取 Node 注解,无法解析时读节点名末尾的数字。例如,可用节点名称取出的编号是 001、002、003、007、008,因此得到 [001, 002, 003] 和 [007, 008] 两段。编号 004–006 不在候选集合里,003 和 007 之间的缺口切开了原本可能连续的区间。编号连续性依赖编号与机柜位置或布线的对应关系。假如编号跟布线无关,连续区间也可能跨 RDMA 域。

整组 Job 选域时,插件按权重从高到低依次询问已启用的算法,采用第一个返回非空结果的算法。比如 RDMA 权重 100、连续性权重 50 时,只要 RDMA 能找出域组合,就采用该组合。两个权重在这一步决定尝试顺序。后面为单个 Quota 或 Spot Task 计算亲和分时,才会把算法权重加起来。

3. 最少域搜索是带剪枝的组合回溯

进入这条链路的基础条件是作业里至少一个 Task 请求了受识别的 RDMA 扩展资源。用于识别 RDMA 请求的资源名可配置。对符合条件的 Quota Job,默认动作顺序是:

1
2
3
4
5
6
7
Task -> Quota
|
Job -> candidate zones -> candidate nodes
|
Remaining Quota -> eligible node
|
Task -> node

整组选域会筛选可入队、所有 Task 都已分配到 Quota 且仍有待绑定 Quota 的 Job。插件还会避免为已经有落节点 Task 的 Job 重跑整组域选择。

对每个规格桶,组合回溯解决的是一个多维资源覆盖问题。Job 的目标向量来自所有 Task 的初始资源请求之和。每个候选域提供一个容量向量,维度包括 CPU、内存和请求中的 GPU、RDMA 等扩展资源。每个维度都要覆盖,所以多余的 CPU 无法补上缺失的 GPU。

设选中的域集合为 S。对每种资源 r,S 中各域的 r 容量之和必须大于或等于 Job 对 r 的需求。在所有符合这些条件的集合里,选择域数量最少的 S。下面的例子同时卡在三个不同的资源维度:

资源 域 A 域 B A + B Job 需求
CPU(核) 80 32 112 64
内存(GiB) 512 256 768 256
GPU(张) 8 16 24 16
RDMA(资源单位) 4 1 5 2

域 A 缺 GPU,域 B 缺 CPU 和 RDMA 配额。两域合计才在每个维度上都过关。这个判断基于域级总量,真正落位时还要检查每个 Quota 的单节点约束。

1
2
3
4
5
6
7
8
9
10
搜索(下一个域, 当前已选域, 当前容量):
如果当前容量覆盖 Job 请求:
域更少,或域数相同但组合分数更优时,更新答案
返回

依次尝试加入后续域:
如果已有答案且加入后会用到更多域,则停止扩展
把域加入当前组合
递归搜索,累加新域容量
从当前组合移除这个域

最后一步就是“回溯”。它撤销的是搜索过程中的一次候选域选择。此时还在计算域组合,Quota 分配和 Kubernetes Pod 绑定会在后续阶段执行。

这是枚举子集并按当前最优域数剪枝。分数按域惰性计算并缓存。找到了单域解以后,只需继续比较其他单域候选。需要多个域、域数量多或总容量不足时,最坏情况下仍会遍历指数级的组合。源码会先尝试把容量较大的域排到前面,但它使用的是多维资源比较。两个域的 CPU 和 GPU 容量各有优势时,这个比较无法给出可靠的全序。

算例一:为什么有时还是会跨域

假设 CPU、内存、RDMA 配额均充足,每台候选节点剩 8 GPU,每个 worker 需要 8 GPU。

域 候选节点编号 GPU 容量 已有同亲和键的 Task
A 1、2 16 0
B 7、8 16 3
C 12 8 0

两个 worker 请求 16 GPU,只需一个域。A、B 都够时,B 的亲和计数更高,优先选 B。三个 worker 请求 24 GPU,没有任何单域能覆盖,A+B、A+C、B+C 都是两域解。此时含 B 的组合凭亲和计数领先,最终在 A+B 和 B+C 中继续按节点评分和节点数比较。亲和计数再高,也不会让调度器放弃一个已经足够的单域解去选两个域。

把 24 GPU 的搜索展开,假设按 A、B、C 的顺序访问:

1
2
3
4
5
6
7
开始
├─ A(16 GPU)
│ ├─ A+B(32 GPU,可行,记录 2 域解)
│ └─ A+C(24 GPU,可行,同为 2 域)
├─ B(16 GPU)
│ └─ B+C(24 GPU,可行,同为 2 域)
└─ C(8 GPU,无后续候选)

达到 24 GPU 的分支当场停止扩展,所以 A+B 不会再接上 C。找到两域解后,搜索也会剪掉任何需要超过两个域的扩展。A+B 多出的 8 GPU 不构成额外优先级。

交互算例:调整 Worker 数量

每个 Worker 固定请求 8 GPU。模拟器沿用上表的域容量和亲和计数。它只比较 GPU 是否够用、域数是否最少,以及同域数时的亲和计数。亲和并列时展示所有并列组合,实际调度还需要比较其他评分并检查单节点落位。

3 个 Worker × 8 GPU = 24 GPU
最少需要 2 个域。亲和计数最高的组合为 A+B、B+C。

组合GPU 容量域数亲和计数覆盖情况
A1610容量不足
B1613容量不足
C810容量不足
A+B3223最少域 · 亲和领先
A+C2420最少域
B+C2423最少域 · 亲和领先
A+B+C4033满足需求,使用更多域

域数相同时,怎么比较分数

  • 亲和计数越高越优先。 PodGroup 可设置逗号分隔的拓扑亲和键。插件维护 域名 → 亲和键 → Task UID 的索引,按命中的键累计计数。Task UID 在单个键内去重,同一个 Task 若命中两个键会贡献两次。计数来自已落位的 Task 以及 Session 内的分配事件。
  • 普通模式先比节点评分,再比节点数。 插件从 Job 中取一个能查到的 Quota,计算该 Quota 在域内节点上的插件评分平均值。组合分数累加每个域的平均分,和直接对组合内所有节点求一次平均是两种口径。平均分相同时,节点数更少的组合优先。
  • 严格模式的比较器设计是先比节点数,再比节点评分。 但在所分析的实现中,组合分累加亲和计数、节点数和节点评分时丢失了严格模式标志。于是整组回溯的同域数组合实际仍按普通模式比较。例如等亲和、同为两域时,6 台节点但评分 20 的组合会排在 4 台节点、评分 10 的组合前面。这个细节影响选域,后续的严格编号选节点由另一条代码路径执行。

4. 域选好之后,再逐个给 Quota 落位

整组选域将选中的域展开为候选节点,按 Task 编号依次处理待绑定 Quota。每个 Quota 先通过单节点可分配资源检查及 Quota→Node 谓词,再执行插件打分和最终节点选择。分配暂存在当前 Session,随后根据 Quota 分配校验结果提交或回滚。默认启用的 gang 插件会按 PodGroup 的可运行门槛检查 Quota 是否已经就绪。沿用 A+B 的例子,即使选域阶段给出节点 1、2、7、8,也只确定了本轮候选范围。具体哪个 Worker 用哪台节点,要等各自的 Quota 依次通过过滤、评分和编号选择后才能确定。

域容量过关只代表有足够的汇总资源。 例如,一个域有两台各剩 4 GPU 的节点,它的总容量能覆盖一个需要 8 GPU 的 worker,但两台节点都无法单独承载这个 worker。域搜索只把一个组合作为本轮整组落位的候选,不会在每次节点放置失败时回溯到第二个域组合。后续的 Quota 分配阶段会处理剩余 Quota,可从 Session 的全量节点中按谓词筛选。因此,这条路径提供的是优先收敛到少数域的策略,跨域依然可能发生。

算例二:序号与分数谁说了算

假设同一 RDMA 域里的节点 7、8 都通过谓词,节点插件给它们的分数分别是 30、60,当前 Task 没有来自已落位兄弟 Task 的编号边界。

设置 选中的节点 原因
普通 RDMA Job 8 先取最高分桶,桶内再取编号最小的合格节点
开启严格编号模式的 RDMA Job 7 选节点时合并分数桶,从合格节点中取较小编号

这两个模式都会由 RDMA 资源请求触发。PodGroup 可通过注解开启严格编号模式。如果前后相邻 Task 已有落点,插件优先选落在它们节点序号区间内的候选,区间内没有候选时允许取区间外节点。提交校验另有独立开关。开启后,调度器会检查已落位 Task 的节点顺序是否非递减。

5. 普通 Quota 和 Spot 为什么往相反方向走

单个 RDMA Task 补位时,命名域算法会看同一 Job 已经调度的兄弟 Task,也会看兄弟 Task 的 Quota 已绑定到哪台节点。如果这些落点所在的域还有足够汇总资源,就为这些域内的候选节点附加同域分。它属于打分路径,节点仍需通过谓词,其他插件的分数也会参与。

缺少可用的兄弟域时,两个入口采用相反的偏好:

调度入口 同域候选为空时的 RDMA 拓扑分 含义
Quota → Node 1 / 域内空闲节点数 优先消耗较小的域,保留较大的空闲域给后续组调度
Spot Task → Node 1 - 1 / 域内空闲节点数,对能查到域的节点而言 有 RDMA 的 Spot Task 偏向较大的域,节点总分相同时偏向较大编号

把两项公式代入两个空闲域,可以直接看出评分方向:

候选域 空闲节点数 Quota 拓扑分 Spot 拓扑分
A 2 0.5 0.5
B 8 0.125 0.875

这里仅比较拓扑分。Quota 选 A 的方向有助于保留大块空闲域,Spot 的拓扑项则把 B 排在前面。现有 E2E 用例覆盖了这两种偏好。还有一个边界:查不到域时,RDMA 的反亲和原始分返回 0,Spot 的取反项就变成 1。因此,要解释 Spot 的实际落点,还要检查该节点是否能匹配到空闲域,以及它的其他插件得分。

连续性算法则按两侧相邻编号是否空闲给 Quota 打分,孤立点得 1、区间边缘得 0.5、区间内部得 0,让小请求尽量少切断连续空闲区间。

验证范围

读码时核对了拓扑发现、域键生成、域组合搜索和 Quota 落位。相关 Go 单元测试通过,并用两个等亲和、同域数的组合验证了严格模式标志在评分累加时丢失。项目中已有的端到端用例覆盖单域优先、资源不足时跨域、严格编号、Spot 偏好和跨作业亲和。