理解 Kueue 的架构与训练推理资源治理
从作业准入到 Volcano、KServe 和多调度器协作
技术博客 · 资料核对日期 2026 年 11 月 19 日
训练平台引入 Kueue 时,最容易产生的疑问是:调度器已经判断资源能否满足,Volcano 还有 gang、队列和抢占,为什么还要再加一层准入?回答这个问题,需要把一次任务运行拆成几个不同的决策,并明确谁拥有每个决策的最终解释权。
Kueue 将工作负载级的排队、配额共享与准入治理抽成独立控制层;Volcano 将队列治理、作业生命周期和批任务节点调度放进一套系统;KServe 负责模型服务的部署与服务化。 Kueue 和 Volcano 存在实质重叠,也可以在明确分工后组合。Kueue 的价值并不以多调度器为前提,组合后的收益也不能靠组件数量推断。[1][2][3]
本文以两台各有 4 张 GPU 的节点、一个包含两个 Worker 的训练作业为贯穿案例。Kueue 的基础流程按固定规模、受支持的 Job 集成解释;TAS、MultiKueue、弹性工作负载和服务型负载另行说明。Volcano 主要采用 v1.16.0 文档中的传统 Queue 与常见 Action 路径;引用主分支源码的地方仅用于说明实现结构。示例需要根据实际安装版本调整 API、集成开关和配置。
一、先分清四类判断
| 层次 | 回答的问题 | 常见参与者 |
|---|---|---|
| API 接收与校验 | 这个对象是否合法,能否写入 API Server? | API Server、验证及变更 Webhook |
| 作业资源准入 | 哪个任务现在有资格消耗哪一类资源,能用多少? | Kueue;Volcano 队列及 enqueue 等机制 |
| 节点放置与绑定 | 每个 Pod 放在哪个节点,是否满足资源和拓扑约束? | kube-scheduler、Volcano 等 Pod 调度器 |
| 节点执行与业务运行 | 设备如何分配,进程是否启动,训练或推理是否有效工作? | kubelet、运行时、设备插件、训练框架、推理引擎 |
这里有两个容易混淆的 admission。Kubernetes Admission Webhook 在对象创建或更新时执行校验与变更;Kueue 的工作负载准入可以持续等待很久。典型路径是 Job 先被 API 接收并保持 suspend,Kueue 后续通过控制循环判断何时恢复它,并不会让一个 HTTP 创建请求一直等到 GPU 空闲。[4]
节点调度器也会判断资源,但它面对的是具体的 Pod、节点状态和放置约束;平台治理还要处理整个作业、团队份额、资源借用、排队优先级与跨集群机会。两者可以由一个系统实现,也可以拆开。Volcano 选择了较完整的集成路径,因此把它描述为“只有 gang 的 Pod 调度器”会低估它的能力。[2]
KServe 的职责又不同。它围绕模型服务对象协调运行时、部署、网络和扩缩容等能力,具体路径取决于部署模式;真正执行模型计算的是推理运行时。在线请求进入服务后的限流、动态批处理和 KV cache 调度,不是 Kueue 的工作负载队列。[3]
二、为什么把作业准入单独做成一层
2.1 等待可以发生在创建大量 Pod 之前
假设一个分布式任务需要 8 张 GPU 才能开始有效计算,只先启动一部分 Worker 可能带来设备占用、镜像和数据准备,却持续等待其他成员。作业级准入可以先保留一个描述需求的 Workload,等到整体满足政策后再启动业务 Pod。对于通过 Pod scheduling gate 集成的对象,Pod 可能已经存在,但尚未进入正常调度;具体收益取决于集成路径。[4][5]
Kueue 最初的设计动机包括:减少无望立即运行的 Pod 对调度器和控制面的压力,提供跨命名空间的配额共享,并复用已有 Job controller、Pod scheduler 和自动扩容能力。ResourceQuota 能限制对象或资源使用,却不提供完整的作业等待、公平排序和恢复运行流程。[6]
这是机制收益,不是普遍性能定理。举一个纯说明性的例子:16 张卡因任务成员不齐而空等 15 分钟,对应 4 GPU·小时。只有当新策略确实减少这段无效占用,并让其他任务获得有用计算时间,才产生收益;把相同等待从 Pod Pending 搬到 Workload Pending,本身不算加速。
2.2 统一的治理对象降低了对执行系统的绑定
训练可能通过 Kubernetes Job、Kubeflow Trainer、Ray 等不同 API 提交。Kueue 的集成层把资源需求转换成统一的 Workload,让平台在相同的配额和队列模型上管理不同任务;执行侧仍由各自的 controller 负责。这样更换某类训练控制器或 Pod 调度器时,租户政策可以相对独立。[1][7]
独立层还便于引入额外准入条件,例如资源供应是否完成、远端集群是否接受任务。它的成本同样明确:增加控制器、状态同步、版本兼容和故障排查路径。如果现有 Volcano 已经覆盖所需队列、回收和调度策略,再加 Kueue 必须能回答一个具体问题:哪个跨执行系统的治理需求只有新增这层才能更好地解决?
2.3 配额账本和节点资源是两个需要对齐的视图
设物理池有 32 张 GPU,A、B 两个团队各配置 16 张 nominal quota。若允许共享、借贷限额允许且 A 暂无任务,B 可以申请使用 24 张,其中 8 张来自可借资源。这个过程改变的是额度归属和使用资格,不是把某 16 张卡永久划归 A。A 的需求回来后,能否、何时收回额度,还取决于回收与抢占政策。[8][9]
逻辑上有额度不意味着任何形状的 Pod 都放得下。总计空闲 8 张 GPU,若分散为四个节点各 2 张,就无法容纳一个需要单节点 4 张卡的 Pod。反过来,节点上有空卡,也可能因为租户限额、AdmissionCheck 或公平策略而继续排队。正确诊断必须同时观察政策资格和物理可放置性。
三、Kueue 的内部架构
Kueue 的核心实现主要集中在 kueue-controller-manager 中。下图中的 Queue Manager、Scheduler Cache 和 Scheduler 是逻辑模块,不应理解为三个需要分别部署的微服务。Kubernetes API 中的对象承担声明式状态载体,模块通过 watch、reconcile、缓存和状态更新形成异步闭环。[10]
flowchart TD
API["Kubernetes API:任务、Workload、队列与状态"]
subgraph KM["kueue-controller-manager:同一进程内的逻辑模块"]
WH["Webhooks:校验与初始挂起"]
JF["Job Framework:任务与 Workload 转换"]
CC["Core Controllers:对象与状态调谐"]
QM["Queue Manager:待准入队列"]
KS["Kueue Scheduler:配额、Flavor 与抢占"]
SC["Scheduler Cache:配额用量与拓扑视图"]
EX["可选逻辑:AdmissionCheck 协调与 TAS"]
CC -->|"维护队列"| QM
CC -->|"维护资源视图"| SC
QM -->|"候选"| KS
SC -->|"快照"| KS
KS -->|"决策与状态推进"| CC
EX -->|"检查与拓扑条件"| CC
end
API -->|"Admission 请求"| WH
WH -->|"校验与变更结果"| API
API <-->|"对象读写"| JF
API <-->|"监听与状态更新"| CC
JF -->|"恢复任务"| JC["原 Job 或 Trainer Controller"]
JC -->|"创建 Pod"| PS["Pod Scheduler:选择节点与绑定"]
JF -.->|"直接纳管 Pod 时解除 gate"| PS
PS -->|"节点绑定"| RT["节点运行时:kubelet 与容器执行"]
图 1 Kueue 的逻辑模块与执行边界。箭头表示主要状态或控制关系,不表示跨组件事务。
图中箭头表示逻辑协作;对象创建、状态更新与绑定均经 Kubernetes API。直接纳管 Pod 时,准入后解除调度门控,无需先创建 Job。AdmissionCheck 执行器也可独立部署,图内展示内置协调逻辑。
| 逻辑模块 | 主要职责 | 理解时的边界 |
|---|---|---|
| Webhooks | 初始化受管任务的挂起状态;校验约束;相关 Pod 集成注入 gate | API 请求处理与长期排队是两个过程 |
| Job Framework 及集成控制器 | 提取 Job 资源需求生成 Workload;同步准入、驱逐、完成等状态 | 业务 Pod 主要由原 Job、Trainer、Ray 等控制器创建 |
| Core Controllers | 维护 Workload、队列等对象状态,驱动队列、缓存和准入条件更新 | 状态经多轮 reconcile 收敛 |
| Queue Manager | 管理待准入、暂不可准入和重新入队的 Workload | 是内部内存结构,不是外部消息中间件 |
| Scheduler Cache | 维护资源类型、队列与共享关系、配额预留及相关放置视图 | 不同于通用 informer cache,也不是实际 GPU 的设备分配器 |
| Kueue Scheduler | 选择候选任务,评估 flavor、配额、共享、公平与抢占,产生准入相关决策 | 调度对象是 Workload;不负责最终 Pod-to-Node 绑定 |
| AdmissionCheck 与可选扩展 | 执行额外条件;TAS 提供拓扑约束;MultiKueue 管理跨集群分发 | 扩展有各自控制循环;不代表都必须独立部署 |
准入调度循环会从队列取得候选任务,基于资源快照评估能否分配;控制器随后把决策、附加检查和工作负载状态推进到一致结果。实现中存在 leader election、缓存同步及多轮调谐,不能把架构图理解成同步调用链,也不能假设一个时刻所有对象状态都已经完成更新。[11][12]
需要特别纠正一句容易误读的话:Kueue 的核心算法面向 Workload,不等于整个 Kueue 从不修改 Job。Webhook 和集成控制器确实会处理 suspend、调度约束以及驱逐后的恢复逻辑。没有集成层,这些抽象决策不会自动作用到一个任意自定义 Job 上。[7]
四、核心对象怎样组成资源治理模型
flowchart TD
subgraph NS["Namespace 作用域"]
W["Workload:PodSets、需求与状态"]
L["LocalQueue:命名空间内队列入口"]
W -->|"queueName"| L
end
subgraph CL["Cluster 作用域"]
C["ClusterQueue:配额、排队与共享策略"]
F["ResourceFlavor:资源类型与节点约束"]
H["Cohort:配额共享与层级"]
A["AdmissionCheck:附加准入检查"]
T["Topology:拓扑层级"]
N["Node:节点标签"]
C -->|"按 Flavor 配额"| F
C -->|"加入"| H
C -->|"引用检查"| A
F -->|"可选"| T
F -->|"标签匹配"| N
end
L -->|"clusterQueue"| C
图 2 Workload、队列与资源政策之间的关系。Namespace 范围的提交入口与集群范围的配额政策分开。
本例配额位于 ClusterQueue;Cohort 也可配置共享配额。ResourceFlavor 描述资源类型与节点约束。
| 对象 | 范围 | 职责 |
|---|---|---|
| Workload | Namespace | 描述一个受管工作负载的资源需求、PodSets 和准入状态 |
| LocalQueue | Namespace | 用户提交入口;指向一个 ClusterQueue |
| ClusterQueue | Cluster | 按资源类型管理配额,配置排队、共享、抢占及相关准入策略 |
| ResourceFlavor | Cluster | 描述 A100/H100、Spot/On-demand 等资源变体及节点选择约束 |
| Cohort | Cluster | 组织可共享资源的队列;可声明额外共享配额,并支持层级组织 |
| AdmissionCheck | Cluster | 声明额外准入检查及其负责控制器 |
| Topology | Cluster | 描述机架、区块、主机等拓扑层级,供 TAS 使用 |
三个边界最值得记住。第一,LocalQueue 是入口,通常不是一个独立 GPU 池;多个 LocalQueue 可以指向同一 ClusterQueue。第二,ResourceFlavor 不直接持有额度;本例将额度定义在 ClusterQueue 的 flavor/resource 项中,当前版本还允许在 Cohort 层配置额外共享配额。第三,Workload 是资源治理对象,不是执行进程,也不能用它的 Admitted 状态代替业务运行状态。[8][9][13][14][15]
Workload 的 podSets 对相同模板的 Pod 分组。例如两个相同 Worker 可以用一个 PodSet 表示,count=2,每个 Pod 申请 4 GPU,总需求为 8 GPU。具有参数服务器、Worker、Launcher 等不同角色时可以使用多个 PodSet。典型固定规模 Job 常对应一个 Workload,但弹性、切片或并发准入等高级机制不宜用“永远一对一”概括。[15]
五、两机八卡任务在 Kueue 中怎样运行
案例假设 node-a 和 node-b 各有 4 张同类 GPU,任务需要两个 Worker;每个 Worker 申请 4 GPU、8 CPU、32 GiB 内存。总需求为 8 GPU、16 CPU、64 GiB。这里用常规 nvidia.com/gpu 整卡资源解释;MIG、共享 GPU 和 DRA 的资源表示及设备分配路径需要另行配置。
资源抽象可以写成下面的简化片段。它用于说明 PodSet,省略了完整对象结构;正常使用时通常由对应的 Job 集成生成 Workload,不需要用户同时手工维护两份生命周期。
1 | spec: |
5.1 从提交到计算的九个阶段
第一步,API 接收任务。 任务被标记到 LocalQueue,并保持挂起。对具备 suspend 接口的 Job,原控制器此时不应启动训练 Pod;普通 Pod 集成则通过 gate 控制后续调度。
第二步,生成 Workload。 集成控制器抽取两个 Worker 的模板和数量,把总资源请求交给 Kueue;业务启动命令、通信配置和训练逻辑仍属于原任务体系。[4][5]
第三步,进入队列。 Queue Manager 维护候选次序。严格 FIFO 和尽力 FIFO 等策略会影响大任务遇到资源不足时,后面的可运行任务能否先获得机会。队列策略改变等待分布,也会影响大作业饥饿风险。[8]
第四步,评估额度与资源变体。 Kueue 检查目标 ClusterQueue 在相应 flavor 下是否有足够 quota,是否可以借用共享额度,是否需要和允许抢占。配置了 TAS 时,还会涉及节点拓扑与可放置容量评估。[8][16]
第五步,预留配额。 Workload 获得资源分配信息和配额预留状态。预留不等于节点绑定,也不一定已经完成最终准入;它可能仍在等待额外的 AdmissionCheck。
第六步,完成准入。 配置的检查满足条件后,相关控制循环推进 Admitted。某些检查会等待资源供应或远端集群响应,因此应分别观察“没有额度”和“已有额度、检查未完成”。[17][18]
第七步,恢复原任务。 集成控制器解除挂起,并应用必要的 flavor 或拓扑相关约束;原 Job 或训练控制器开始创建业务 Pod。
第八步,放置、启动并开始计算。 Pod 调度器选择节点并绑定,kubelet、设备插件和运行时完成节点执行;训练进程还需完成数据准备、通信初始化等步骤。两个 Pod 都 Ready,也不必然代表第一个有效训练 step 已发生。
第九步,完成、回收或重排。 原任务状态经集成回写,Kueue 更新配额账本;被驱逐或启动超时的任务按配置停止、清理并重新排队。物理 GPU 的释放要等节点侧资源实际退出,不能把一次状态写入当成设备立即可用。[7][12]
附录 A 给出最小队列与任务资源形状示例。它只演示准入接线;训练镜像、Launcher、rendezvous、存储和数据集必须由执行框架补齐。
5.2 TAS 与等待就绪分别补足什么
**Topology-Aware Scheduling,简称 TAS,**使 Kueue 的判断深入到物理拓扑和容量。官方文档说明,它会基于可调度的 Ready 节点、其他已准入 TAS 工作负载以及非 TAS Pod 的占用计算容量,并形成拓扑放置约束。因而“今天的 Kueue 完全不看节点,只看一个总数”已经不准确;不过最终 Pod 绑定仍属于 Pod 调度器。[16]
waitForPodsReady 则在准入之后观察任务能否按要求就绪,超时可触发驱逐和重排;相关配置还可控制是否继续准入后续任务。这是一种减少长时间部分启动的恢复机制,并不把多个 Pod 的绑定和容器启动变成原子操作。超时过短会造成反复重启,过长则让配额和 GPU 继续等待,阈值应覆盖正常镜像、数据和模型初始化时间。[19][20]
六、Volcano 的架构与同一任务的运行路径
6.1 作业控制与调度是两套不同的职责
Volcano 的常见部署包含 Admission/Webhooks、Controller Manager 和 Scheduler,另有 vcctl 等工具。Controller Manager 中的 Job、PodGroup、Queue 等控制器协调对象生命周期;Scheduler 维护调度视图并执行策略。它们通过 API Server 与事件、状态交互,节点上的 kubelet、运行时和设备组件负责实际执行。
| 概念 | 在 Volcano 中的含义 | 容易混淆之处 |
|---|---|---|
| VolcanoJob | batch.volcano.sh/v1alpha1 下的 Job,自身有任务、策略和重试配置 | 与 batch/v1 的原生 Job 是不同 API |
| Task | VolcanoJob 内的角色或一类副本,例如 Worker、PS | 不是独立的 Kubernetes 调度绑定对象 |
| PodGroup | 表达一组 Pod 的联合调度要求与聚合状态 | 不是训练进程,也不等于 VolcanoJob 全部生命周期状态 |
| Queue | 资源份额、公平与回收的政策范围 | 额度通常不是固定物理 GPU 所有权 |
| Pod | 实际放置到节点上的执行单位 | 容器 Ready 与应用已进入有效训练仍有距离 |
这些对象解释了为什么只写 schedulerName: volcano 还不够。该字段选择负责 Pod 的调度器;gang 所需的 PodGroup、成员关联及队列信息,还必须由受支持的集成或相应控制器正确建立。使用 Trainer 或其他算子时,其原控制器不会因为 schedulerName 改变而自动变成 VolcanoJob controller。[21][22]
6.2 Session、Action 与 Plugin
Volcano Scheduler 的 Session 可以理解为一轮调度的对象视图和策略扩展上下文。Action 组织要执行的步骤;plugin 在对应扩展点提供排序、过滤、资源和 gang 等判断。不同配置可以采用不同 Action 序列与插件组合,下面列的是常见基本路径,不是对所有版本能力的完整清单。
| 机制 | 常见作用 | 配置边界 |
|---|---|---|
| enqueue | 进行作业入队与资源准入判断 | 不等同于已选好节点;具体准入条件依赖插件与配置 |
| allocate | 筛选、评分节点,暂存分配并在满足条件后提交 | gang 等约束可能阻止提交 |
| preempt / reclaim | 经典路径中分别处理队列内抢占与跨队列回收 | 需对应 Action 和插件;新版还有更细的作业级机制 |
| backfill | 处理相关路径中的 BestEffort、无显式资源请求任务 | 不能笼统等同于全部 HPC backfill 算法 |
| gang / priority | 检查最低成员门槛;参与优先级决策 | minMember 是成员数,不是 GPU 数 |
| capacity / proportion | 按容量或权重管理队列份额 | 是不同资源管理模型,不能照抄为同时启用 |
| predicates / nodeorder / binpack | 节点过滤、打分和紧凑放置等 | 负责不同策略扩展点 |
scheduler plugins 还应与 Job controller plugins 分开:env、svc、ssh 处理环境变量、服务发现、SSH 等作业启动辅助;gang、capacity 等处理调度政策。启用 svc/env 并不会自动把任意训练脚本变成正确的分布式训练程序。[23][24][25]
6.3 两个 Worker 怎样从 VolcanoJob 走到 GPU
仍以每个 Worker 4 GPU、8 CPU、32 GiB 为例:VolcanoJob 的 minAvailable: 2 描述最低成员数量;典型生成的 PodGroup 包含 minMember: 2,对应最低资源需求 8 GPU、16 CPU、64 GiB。
在启用 enqueue 的典型初始路径中,Job controller 先创建 PodGroup;当其状态仍为空或 Pending 时,暂不进入任务 Pod 的同步。Scheduler 根据入队政策通常将 PodGroup 推进到 Inqueue,controller 随后创建 Worker Pod。当前主分支源码中的同步条件实际是“状态非空且不为 Pending”,并非只允许 phase == Inqueue;后续 Running 等状态也需要继续调谐。[23][26]
Worker Pod 出现后,allocate 为它们寻找节点并形成暂定分配。假设 node-a、node-b 各能容纳一个 Worker,gang 条件得到满足后,调度器提交相关操作;否则在该轮放弃或回滚相应暂定分配,等待新机会。Action 流水线可配置;未启用 enqueue 时,allocate 实现还存在相应的状态推进路径,不能把一种配置写成所有版本的必经步骤。[23][27]
提交后仍由 Kubernetes 的单个 Pod 绑定和节点执行流程推进。常规扩展资源 GPU 路径下,调度器决定节点和资源数量,kubelet 与设备插件完成实际设备分配;训练框架再处理成员发现、通信、失败重试与 checkpoint 恢复。
PodGroup Running 不能直接解释为所有容器已经 Ready。VolcanoJob、PodGroup、Pod 是三个状态层次;作业重启政策、容器 restartPolicy、应用从 checkpoint 恢复也是三个不同层次。ttlSecondsAfterFinished: 600 表示完成后的对象清理安排,不意味着 GPU 在计算结束后必须再被占用 600 秒。[21][42][43]
6.4 Queue 字段不能与 Kueue 逐项硬套
| Volcano 字段 | 在相关队列模型中的含义 | 与 Kueue 对比时的注意点 |
|---|---|---|
| guarantee | 保留给本队列、其他队列不能使用的额度 | 不能直接等同于可参与借贷的 nominalQuota |
| deserved | 应得份额;闲置部分可被利用,超出份额部分可按策略回收 | 不是使用硬上限 |
| capability | 资源使用硬上限 | 不能简单替换为一个借贷字段 |
| weight | proportion 模型下计算份额的权重 | 不同于 capacity 的固定 deserved |
| reclaimable | 是否允许其他队列按相关规则回收本队列资源 | false 不意味着免疫所有抢占、故障或终止 |
官方文档给出的资源关系包括 guarantee ≤ deserved ≤ capability,并明确 capacity 与 proportion 的不同使用方式。比较两个系统时应比较“保留多少、可借多少、如何回收、谁能抢占”这些业务规则,而不是为 API 字段制造一一对应关系。[28]
七、Kueue 与 Volcano 的 gang 到底重叠在哪里
讨论 gang,首先要说明所谓“一起”发生在哪个阶段。固定规模任务一次获得完整配额,是作业级准入;调度器找到满足最低成员数的放置方案后再提交,是放置阶段的协调;全部容器 Ready、通信完成并开始训练,又是更晚的执行结果。
| 维度 | Kueue | Volcano |
|---|---|---|
| 整体资源资格 | 按 Workload 进行配额预留与准入;部分准入等高级配置另论 | 通过 Queue、PodGroup、enqueue 及插件进行作业准入 |
| 节点可放置性 | 基础配额判断不等于 placement;TAS 可进一步检查拓扑容量 | allocate 与节点策略直接参与成员放置 |
| 部分启动治理 | waitForPodsReady 等机制观察、超时回收和重排 | gang 在调度阶段检查最低成员门槛 |
| 最终 Pod 绑定 | 交给选定的 Pod 调度器 | Volcano Scheduler 负责其管理 Pod 的绑定流程 |
| 应用恢复 | 依赖任务集成、原控制器与应用 checkpoint | Job policy 可组织重试,模型状态恢复仍依赖应用 |
| 多 Pod 原子启动 | 不保证 | 也不提供跨 Pod API 原子绑定或同时 Ready 的保证 |
Volcano 的 Statement.Commit 会遍历已记录操作并分别执行。调度器内部能暂存或回滚一组候选分配,不等于 API Server 提供多个 Pod 同时生效的事务。因此 JobReady 在调度框架中的含义,也不能直接翻译成所有 Pod 的 Ready=True。[29]
这回答了“Kueue 和 Volcano 是否不太对付”:能力重叠是真实的,架构上的不兼容并非必然。 若已有 Volcano 平台且团队共享、抢占与训练运行管理都满意,新增 Kueue 可能只是重复队列。若需要把采用不同控制器、不同执行环境的任务放在统一资源治理入口之下,它才有更清楚的增量价值。
八、多调度器共存能用 Kueue 但不能省略协调设计
8.1 一个调度器也完全可以使用 Kueue
Kueue 的常见组合就是 Kueue 加默认 kube-scheduler。它独立出来的原因,是平台级资源治理可以复用,而不是只有出现两个调度器才需要准入层。多调度器是可适用的部署形态之一。
一个集群可以通过 schedulerName 让不同 Pod 走不同调度器。Kueue 可以先依据统一队列政策放行受支持的任务,再由各自的调度器完成放置。但“使用相同 API Server”并不自动使独立调度器拥有相同的瞬时缓存或统一的原子资源预留。Kubernetes 官方文档也区分同一调度器进程内的多个 profile 与多个独立调度器:前者共享相关调度状态,后者可能对同一节点发生资源竞争,通常建议考虑独立节点集合。[30]
8.2 真正的组合至少要对齐四个契约
任务控制契约。 谁创建 Workload,谁负责 suspend/resume,谁创建业务 Pod,谁在驱逐后清理并回写完成?某个框架分别支持 Kueue 和 Volcano,不等于任意版本、任意配置的组合已经被支持。尤其不能仅凭给 VolcanoJob 加一个队列标签,就宣称它获得 Kueue 原生集成。
资源记账契约。 Kueue 与下层队列需要对资源类型、计量单位和容量范围建立明确映射,并协调保留、借用与回收规则。两层规则不必逐项相同,但不能相互矛盾或重复承诺同一份容量。未纳入治理的工作负载会影响实际容量,不能因为总配额数字自洽就忽略它们。
政策归属契约。 需要明确哪个系统决定租户份额、优先级与抢占,哪个系统决定节点和 gang。比如 Kueue 按借贷规则回收一项任务,下层 Volcano 又按另一套份额规则回收另一项任务,就可能引起本可避免的重排与振荡。这是需要验证的设计风险,不是已经对所有组合观察到的必然故障。
放置和回收契约。 下层调度器是否正确处理 flavor 选择、拓扑约束与 scheduling gates?驱逐状态如何传播?终止宽限期与 checkpoint 需要多长时间?从逻辑额度返回到 GPU 真正可用之间的延迟,必须纳入上线验收。
因此,Kueue 可以是多个执行路径之前的共同治理层,但不会自动成为这些调度器共享的节点事务协调器。没有明确集成文档和验证结果时,应把 Kueue 加 Volcano 视为需要集成验证的架构选项,而非默认即插即用。
8.3 MultiKueue 处理的是另一个维度
MultiKueue 的 manager 集群负责把候选工作负载分发到 worker 集群,选择接纳者并同步远端作业状态;执行集群再按自己的 Kueue 和 Pod 调度流程运行。它处理的是跨集群容量选择与执行分发,不是同一集群中多个 Pod 调度器的缓存一致性。manager 的额度与 worker 可用配额也需合理对应,不能把跨集群 API 连接直接当成无限容量。[31]
九、在训练和推理生命周期中放在哪里
| 场景 | Kueue 合适介入的环节 | 执行侧还需要什么 |
|---|---|---|
| 固定规模分布式训练 | 提交后排队、整体资源准入、资源类型选择、按策略回收和重排 | 训练算子、Launcher、通信、checkpoint;需要时加 gang 或拓扑能力 |
| 弹性训练与可中断研究任务 | 在受支持集成下处理资源变化与共享 | 应用真正支持副本变化、恢复和抢占成本控制 |
| 离线评估、批量转写、批量生成 | 将有限作业统一排队、分配 GPU 并统计完成时间 | Job 或工作流控制器、数据切分与结果落盘 |
| 在线模型服务创建或扩容 | 在支持的 Deployment、Pod 等集成下控制新增实例的资源资格 | KServe、扩缩容器、推理引擎及网络层 |
| 单个在线请求进入已运行模型 | 通常不在这个控制循环中 | 网关、请求队列、限流、动态批处理、KV cache 和引擎调度 |
对训练而言,Kueue 贯穿“提交—排队—获准—运行反馈—回收或结束”的资源治理闭环;它不管理每一步反向传播,也不自动保证 checkpoint 完整。可被安全暂停和恢复的工作负载,更容易通过共享和抢占提高资源池使用效率。
批量推理的运行形态接近 batch job,因此 Kueue 的作用也接近训练准入。在线推理要多考虑一个关键约束:服务实例晚几分钟启动,可能直接影响延迟和可用性。提高集群 GPU 利用率与缩短在线扩容时间,未必总朝同一方向变化。
9.1 KServe 与 Kueue 的连接需要落到具体对象
KServe 的控制面管理模型服务对象及相应部署;Kueue 若参与,通常控制的是这些执行资源何时获得资格。当前 Kueue 的 Deployment 文档描述了按 Pod 分别创建 Workload 的方式,扩容时新增 Pod 需逐个获得准入;配额不足时可能只有一部分副本获准。因此不能把它解释成任意 Deployment 天然具有整组 gang,也不能由此直接推导任意 KServe InferenceService 都可无配置接入。[32][33]
实际接入必须核对:所用 KServe 部署模式产出什么对象,是否采用相应版本规定的队列标签入口,以及管理信息是否正确传播。官方 Deployment 示例的入口是 Deployment.metadata.labels,不应笼统要求所有部署都由用户手工给 Pod template 加队列标签。还需确认相关 Kueue 集成已启用,以及上层控制器与 gate、驱逐、重建行为是否协调。对于多个 Pod 协同提供一个模型实例的架构,需要支持相应分组语义的运行控制器和调度集成,不能套用每个 Deployment Pod 独立获准的简单模型。[32]
9.2 在线容量优先看回收时间与服务目标
一种可评估的政策是为在线服务保留稳定容量,把部分剩余额度借给可恢复的离线任务。Kueue 的 lendingLimit 等政策可以控制可借出范围;若所有容量都借满,再期待流量突增时立即取回,会遇到终止宽限期、存储卸载、checkpoint、镜像拉取和模型装载等延迟。[8][32] 这里保留的是逻辑配额;能否立即放置新增实例,仍取决于节点占用、资源碎片和拓扑条件。
设计时应把“从扩容决策到新实例可接流量”的时间与 TTFT、尾延迟、SLO 达标吞吐同时测量。若服务目标要求几十秒恢复,而实测抢占与模型启动要数分钟,就需要更多预留或不同的容量策略。Kueue 的准入算法耗时再短,也无法消掉这条执行链。
减少无效 Pending 和错误扩容信号同样不是 Kueue 的独占价值。Volcano 的 Scheduling Gates Queue Admission 文档也区分“因队列额度等待”和“因节点容量不足等待”,以避免将二者都解释成扩容需求。比较时应对齐实际启用的功能与版本。[34]
十、公开量化证据能证明什么
10.1 Runway 的生产案例
Runway 于 2026 年 4 月发布的工程文章报告,引入基于 Kueue 的资源治理后,GPU utilization 提升超过 20 个百分点。其配置包括关键任务的保留额度、共享借用与抢占。这说明在该生产环境中,资源共享政策和控制链改造有显著价值;文章是团队自述,并未提供足以复现实验的完整测量口径,因此不能把这个幅度当成所有集群的预期收益。[35]
同一篇文章还报告,在他们的系统里,从发起抢占到保留额度内的新任务开始运行,可能耗费 20—30 分钟;原因涉及宽限期、控制器清理和任务终止链路。它描述的是该部署的端到端回收时间,不是 Kueue 准入循环本身的通用延迟。这个结果也提醒我们,利用率收益要和可恢复性、回收时延一起评价。
10.2 一个可对照的批量推理实验
论文 Evaluating Kubernetes Performance for GenAI Inference: From Automatic Speech Recognition to LLM Summarization 在 ROSA、Kubernetes 1.32 的环境中,用一个配备 8 张 A100 的 GPU 节点运行 32 个 Whisper 作业(16 medium、16 large),每种配置执行三次。以下是论文表 3 的 makespan 中位数,即完成固定整批工作所需时间;百分比由本文按原始数值计算。[36][37]
| 配置 | Makespan 中位数 | 相对原生 Jobs |
|---|---|---|
| 原生 Kubernetes Jobs | 60.5 分钟 | 基线 |
| Kueue BestEffortFIFO | 62.5 分钟 | 增加 3.3% |
| Kueue 加优先级 | 54.7 分钟 | 减少 9.6% |
| Kueue 加优先级及抢占 | 51.1 分钟 | 减少 15.5% |
| 两个 ClusterQueue 加借用 | 55.0 分钟 | 减少 9.1% |
对上述四个 Kueue 配置,论文报告的准入尝试耗时 P99 均低于 25 ms。这个数字衡量一轮准入尝试的处理时间,一次尝试可能处理多个 Workload,不包含任务等待额度、节点扩容、镜像或模型启动的时间。上述结果支持“政策选择会改变整批完成效率”,并不支持“只要安装 Kueue 就会更快”。
还应注意论文中的基线执行时间口径包含 Pod Pending,不能把其降低直接解释成模型计算速度成倍提升。该实验也没有用同等优化、正确配置的 Volcano 作为比较组,所以不能推出 Kueue 优于 Volcano。Runway 案例和这项小规模实验分别提供生产观察与受限对照证据,都不足以给出通用性能排名。
十一、在自己的平台上怎样量化收益
11.1 先定义业务完成而不是只看准入快慢
把关键时间点串起来:任务提交、获准、Pod 绑定、容器就绪、首个有效训练 step 或推理结果、整项任务完成。分布式任务应按关键路径统计,避免把并行阶段机械相加。被驱逐后还要记录终止、再次获准、恢复完成以及重算的工作量。
| 要回答的问题 | 建议指标 | 常见误读 |
|---|---|---|
| 用户是否更早拿到结果 | 提交到首个有效工作、提交到完成的 P50/P95/P99;固定任务集 makespan | 只看 Pod 创建之后的时间,隐藏队列等待 |
| GPU 是否产生更多有用工作 | 有效 samples 或 tokens / GPU·小时;GPU 活跃度、显存与带宽指标;等待和重算 GPU·小时 | 把已申请 GPU 数直接当成实际利用率 |
| 在线服务是否达标 | TTFT、TPOT、端到端 P99、SLO 达标吞吐、扩容到可接流量耗时 | 提高总体吞吐却恶化尾延迟 |
| 资源共享是否公平 | 各团队需求满足率、队列最长等待、借用/回收量、大任务饥饿 | 只报平均值,掩盖某一队列长期受阻 |
| 抢占是否值得 | 终止到资源可复用时间、恢复时间、checkpoint 与重算损失 | 只统计抢占成功次数 |
| 控制面是否更轻 | API QPS、etcd/控制器/调度器资源、事件量、调度重试量 | 忽略新引入 Kueue 控制器的成本 |
固定工作量下可以计算 makespan 改善率 =(基线耗时 − 新方案耗时)÷ 基线耗时。若比较不同大小任务的吞吐,单看每小时完成作业数会失真;应固定任务集合,或按可比的有效工作量归一化。对于抢占任务,已经完成但被回滚的计算也应计入成本。
11.2 Kueue 自带指标怎样使用
| 指标 | 能说明什么 | 需要补充什么 |
|---|---|---|
| kueue_admission_wait_time_seconds | 从创建或重新入队到准入的等待时间 | 结合重排次数与完整用户任务时间线 |
| kueue_admission_attempt_duration_seconds | 一轮准入尝试的处理耗时;可能涉及多个 Workload | 不能代替队列等待和启动时间 |
| kueue_admitted_until_ready_wait_time_seconds | 从准入到就绪的延迟 | 需相应 waitForPodsReady 配置;Ready 不代表有效训练开始 |
| kueue_cluster_queue_resource_reservation kueue_cluster_queue_resource_usage |
ClusterQueue 的配额预留及准入资源记账 | 需相应资源指标配置;不是 GPU SM 利用率 |
| kueue_evicted_workloads_total | 驱逐次数及原因分布 | 结合丢失工作量、恢复时间和业务结果 |
| kueue_finished_workloads_total | 结束的工作负载计数 | 不能直接当成成功业务吞吐或等工作量产出 |
指标名、可选开关和标签应以安装版本的 metrics 文档为准。建议把 queue、job 与实际 GPU 监控及应用进度关联起来:Kueue 提供资格与等待视图,设备监控提供计算活动,应用指标提供有效产出。只看其中一层都不够。[38][39][40]
11.3 做一组有解释力的对照
选择真实提交轨迹,覆盖小任务、大型 gang、低优先级可中断训练和在线扩容。固定硬件、镜像缓存、数据位置、资源 requests、优先级、checkpoint 周期和失败注入条件。比较当前已优化方案与候选方案;若当前已经使用 Volcano,基线就应是正确配置的 Volcano,而不是刻意退回缺少队列政策的原生调度。
先验证任务正确完成,再比较整批耗时、有效 GPU 产出、公平与服务目标,最后分析控制面成本。重复测量并报告分布、规模和异常。收益可能是更高利用率,也可能是在吞吐相近时提供可预测的团队份额;后一种治理收益同样需要用等待与需求满足指标体现。
十二、按状态边界排查问题
| 观察到的状态 | 优先检查什么 |
|---|---|
| Kueue 中没有 Workload | 队列标签、集成是否启用、原对象是否属于受支持路径、Webhook 与控制器事件 |
| 有 Workload 但未预留额度 | LocalQueue 到 ClusterQueue 的关系、额度、flavor、借贷上限、排队和优先级政策 |
| 已预留但未 Admitted | AdmissionCheck 状态、资源供应或远端集群进展、相关控制器 |
| Admitted 但 Pod 仍 Pending | gate、schedulerName、节点资源形状、亲和/污点、拓扑、PVC 与所选调度器事件 |
| Pod Running 或 Ready 但没有有效计算 | 训练成员与 rendezvous、通信、数据、模型初始化、应用错误 |
| VolcanoJob 有对象但没有业务 Pod | PodGroup 状态、入队政策、controller 事件;不要只盯 Pod 调度器 |
| Volcano PodGroup 已 Inqueue 但任务未运行 | allocate、gang 门槛、节点筛选、队列政策和抢占/回收路径 |
| 驱逐已发起但 GPU 没回来 | 终止宽限期、finalizer、控制器清理、设备释放、存储卸载和应用退出 |
排查顺序体现了架构边界:先确认对象与集成,再查资源资格,接着查具体放置,最后查节点执行和业务进度。所有层都显示“成功”的标准不同,不应把一个上游条件当成下游运行成功的证明。
十三、选型从治理目标开始
| 已有条件或目标 | 优先评估的路径 |
|---|---|
| 默认 kube-scheduler 足够,主要缺团队配额、共享与作业排队 | Kueue 加已有 Job 或训练控制器 |
| 已经依赖 VolcanoJob、gang 与队列治理,现有政策满足需求 | 继续完善 Volcano,先度量是否存在未解决的治理问题 |
| 多个执行框架需要共同政策,或希望治理层与 Pod 调度器解耦 | 评估 Kueue,逐项核对任务集成与下层政策归属 |
| 任务需在多个 Kubernetes 集群之间选择执行容量 | 评估 MultiKueue 及匹配的工作负载集成 |
| 主要目标是模型发布、路由、运行时和弹性服务 | 以 KServe 等服务系统为主;资源准入作为另外的容量设计 |
| 在线扩容时延严格,抢占恢复较慢 | 先确定保留容量和可回收预算,再决定借贷及准入策略 |
Kueue 可以为“谁先用、能用多少、能否借、何时收回”提供统一治理;Volcano 已经在同类问题上提供不少能力,并进一步承担批任务的节点调度。平台真正需要选择的是这些决策由谁负责,以及它们能否形成稳定、可观测的闭环。用提交到结果的时间、有效 GPU 产出、服务目标和团队公平验证设计,比只问“是否支持 gang”更接近实际收益。
附录 A Kueue 最小配置形状
以下配置按核对时官方文档中的 kueue.x-k8s.io/v1beta2 表达。假设已经安装并启用 Job 集成,存在 team-a 命名空间,两台 GPU 节点具有 accelerator: a100 标签,且 CPU、内存和 GPU 的可分配资源充足。此处使用 Kubernetes 自动维护的 namespace 名称标签选择 team-a。[41]
1 | apiVersion: kueue.x-k8s.io/v1beta2 |
下面的原生 Job 只展示两个并行 Pod 的资源形状与 suspend 接入。示例镜像是占位符;它没有配置分布式 Launcher、rendezvous 和共享存储,不能直接当成可运行的两机训练程序。实际训练可采用已支持的 TrainJob、JobSet 等控制器,让它们正确管理分布式执行语义。
1 | apiVersion: batch/v1 |
本例没有配置 cohort、借贷、TAS、AdmissionCheck 或 waitForPodsReady,用于把最基本的对象接线讲清楚,不代表仅凭这份 YAML 就建立了所有整体放置和恢复能力。现有集群若使用其他 API 版本,应按其 CRD schema 调整,而不是直接替换版本字符串。
附录 B 同一资源形状的 VolcanoJob
假设已经创建并配置 team-a Queue,Volcano 对应插件和 Action 已启用,namespace 与设备环境就绪。下例同样使用占位镜像;两种方案用于比较资源控制路径,不是可以同时提交的联合集成配置。
1 | apiVersion: batch.volcano.sh/v1alpha1 |
minAvailable: 2 是最低成员门槛;RestartJob 组织作业重试,无法替应用保存训练状态。生产配置还需为可恢复性、成功条件和训练通信做专门设计。[42][43] 两套示例均用于解释结构,本文未在真实 Kubernetes 集群部署验证。
附录 C 常用观察入口
1 | kubectl get workloads.kueue.x-k8s.io -n team-a |
先用列表定位具体对象,再 describe 对应 Workload、PodGroup 或 Pod。驱逐和重排场景建议保留 Job UID、Workload UID、Pod UID 与关键时间戳,避免把一次逻辑任务的多个尝试误当成不同业务任务。
参考资料
资料核对日期为 2026 年 11 月 19 日。官方文档与主分支源码会继续变化;涉及 API、特性成熟度、默认值、集成开关及指标时,以实际部署版本为准。本文中的数值案例与公开实测已分别标明,未将不同来源的指标混作同一实验。
- Kueue Overview
- Volcano Queue Resource Management v1.16.0
- KServe Architecture
- Kueue Run Kubernetes Jobs
- Kueue Run Plain Pods
- Introducing Kueue — Kubernetes Blog, 2022
- Kueue Integrate a Custom Job
- Kueue ClusterQueue
- Kueue Cohort
- Kueue Controller Manager 入口源码 — main 分支
- Kueue Scheduler 源码 — main 分支
- Kueue Workload Controller 源码 — main 分支
- Kueue LocalQueue
- Kueue ResourceFlavor
- Kueue Workload
- Kueue Topology-Aware Scheduling
- Kueue Admission
- Kueue AdmissionCheck
- Kueue All-or-nothing Scheduling
- Kueue Setup All-or-nothing with Ready Pods
- Volcano PodGroup
- Kubeflow Trainer Volcano Integration
- Volcano Scheduler Actions
- Volcano Env Plugin v1.16.0
- Volcano SVC Plugin v1.16.0
- Volcano Job Controller Actions 源码 — master 分支
- Volcano Allocate Action 源码 — master 分支
- Volcano Queue v1.16.0
- Volcano Statement Commit 源码 — v1.16.0
- Kubernetes Running Multiple Schedulers
- Kueue MultiKueue
- Kueue Run Deployment
- KServe Control Plane Architecture
- Volcano Scheduling Gates Queue Admission v1.16.0
- Runway — No Idle GPUs: Managing Research Compute at Runway, 2026-04-27
- Evaluating Kubernetes Performance for GenAI Inference — arXiv:2602.04900v3
- Red Hat Research — Kubernetes Meets GenAI
- Kueue Metrics Reference
- Kueue Common Grafana Queries
- Kueue Monitor Actual Resource Usage
- Kueue Administer Cluster Quotas
- Volcano Job
- Volcano Job Policy
