从作业准入到 Volcano、KServe 和多调度器协作

技术博客 · 资料核对日期 2026 年 11 月 19 日

训练平台引入 Kueue 时,最容易产生的疑问是:调度器已经判断资源能否满足,Volcano 还有 gang、队列和抢占,为什么还要再加一层准入?回答这个问题,需要把一次任务运行拆成几个不同的决策,并明确谁拥有每个决策的最终解释权。

Kueue 将工作负载级的排队、配额共享与准入治理抽成独立控制层;Volcano 将队列治理、作业生命周期和批任务节点调度放进一套系统;KServe 负责模型服务的部署与服务化。 Kueue 和 Volcano 存在实质重叠,也可以在明确分工后组合。Kueue 的价值并不以多调度器为前提,组合后的收益也不能靠组件数量推断。[1][2][3]

本文以两台各有 4 张 GPU 的节点、一个包含两个 Worker 的训练作业为贯穿案例。Kueue 的基础流程按固定规模、受支持的 Job 集成解释;TAS、MultiKueue、弹性工作负载和服务型负载另行说明。Volcano 主要采用 v1.16.0 文档中的传统 Queue 与常见 Action 路径;引用主分支源码的地方仅用于说明实现结构。示例需要根据实际安装版本调整 API、集成开关和配置。

一、先分清四类判断

层次 回答的问题 常见参与者
API 接收与校验 这个对象是否合法,能否写入 API Server? API Server、验证及变更 Webhook
作业资源准入 哪个任务现在有资格消耗哪一类资源,能用多少? Kueue;Volcano 队列及 enqueue 等机制
节点放置与绑定 每个 Pod 放在哪个节点,是否满足资源和拓扑约束? kube-scheduler、Volcano 等 Pod 调度器
节点执行与业务运行 设备如何分配,进程是否启动,训练或推理是否有效工作? kubelet、运行时、设备插件、训练框架、推理引擎

这里有两个容易混淆的 admission。Kubernetes Admission Webhook 在对象创建或更新时执行校验与变更;Kueue 的工作负载准入可以持续等待很久。典型路径是 Job 先被 API 接收并保持 suspend,Kueue 后续通过控制循环判断何时恢复它,并不会让一个 HTTP 创建请求一直等到 GPU 空闲。[4]

节点调度器也会判断资源,但它面对的是具体的 Pod、节点状态和放置约束;平台治理还要处理整个作业、团队份额、资源借用、排队优先级与跨集群机会。两者可以由一个系统实现,也可以拆开。Volcano 选择了较完整的集成路径,因此把它描述为“只有 gang 的 Pod 调度器”会低估它的能力。[2]

KServe 的职责又不同。它围绕模型服务对象协调运行时、部署、网络和扩缩容等能力,具体路径取决于部署模式;真正执行模型计算的是推理运行时。在线请求进入服务后的限流、动态批处理和 KV cache 调度,不是 Kueue 的工作负载队列。[3]

二、为什么把作业准入单独做成一层

2.1 等待可以发生在创建大量 Pod 之前

假设一个分布式任务需要 8 张 GPU 才能开始有效计算,只先启动一部分 Worker 可能带来设备占用、镜像和数据准备,却持续等待其他成员。作业级准入可以先保留一个描述需求的 Workload,等到整体满足政策后再启动业务 Pod。对于通过 Pod scheduling gate 集成的对象,Pod 可能已经存在,但尚未进入正常调度;具体收益取决于集成路径。[4][5]

Kueue 最初的设计动机包括:减少无望立即运行的 Pod 对调度器和控制面的压力,提供跨命名空间的配额共享,并复用已有 Job controller、Pod scheduler 和自动扩容能力。ResourceQuota 能限制对象或资源使用,却不提供完整的作业等待、公平排序和恢复运行流程。[6]

这是机制收益,不是普遍性能定理。举一个纯说明性的例子:16 张卡因任务成员不齐而空等 15 分钟,对应 4 GPU·小时。只有当新策略确实减少这段无效占用,并让其他任务获得有用计算时间,才产生收益;把相同等待从 Pod Pending 搬到 Workload Pending,本身不算加速。

2.2 统一的治理对象降低了对执行系统的绑定

训练可能通过 Kubernetes Job、Kubeflow Trainer、Ray 等不同 API 提交。Kueue 的集成层把资源需求转换成统一的 Workload,让平台在相同的配额和队列模型上管理不同任务;执行侧仍由各自的 controller 负责。这样更换某类训练控制器或 Pod 调度器时,租户政策可以相对独立。[1][7]

独立层还便于引入额外准入条件,例如资源供应是否完成、远端集群是否接受任务。它的成本同样明确:增加控制器、状态同步、版本兼容和故障排查路径。如果现有 Volcano 已经覆盖所需队列、回收和调度策略,再加 Kueue 必须能回答一个具体问题:哪个跨执行系统的治理需求只有新增这层才能更好地解决?

2.3 配额账本和节点资源是两个需要对齐的视图

设物理池有 32 张 GPU,A、B 两个团队各配置 16 张 nominal quota。若允许共享、借贷限额允许且 A 暂无任务,B 可以申请使用 24 张,其中 8 张来自可借资源。这个过程改变的是额度归属和使用资格,不是把某 16 张卡永久划归 A。A 的需求回来后,能否、何时收回额度,还取决于回收与抢占政策。[8][9]

逻辑上有额度不意味着任何形状的 Pod 都放得下。总计空闲 8 张 GPU,若分散为四个节点各 2 张,就无法容纳一个需要单节点 4 张卡的 Pod。反过来,节点上有空卡,也可能因为租户限额、AdmissionCheck 或公平策略而继续排队。正确诊断必须同时观察政策资格和物理可放置性。

三、Kueue 的内部架构

Kueue 的核心实现主要集中在 kueue-controller-manager 中。下图中的 Queue Manager、Scheduler Cache 和 Scheduler 是逻辑模块,不应理解为三个需要分别部署的微服务。Kubernetes API 中的对象承担声明式状态载体,模块通过 watch、reconcile、缓存和状态更新形成异步闭环。[10]

图 1 Kueue 的逻辑模块与执行边界。箭头表示主要状态或控制关系,不表示跨组件事务。

图中箭头表示逻辑协作;对象创建、状态更新与绑定均经 Kubernetes API。直接纳管 Pod 时,准入后解除调度门控,无需先创建 Job。AdmissionCheck 执行器也可独立部署,图内展示内置协调逻辑。

逻辑模块 主要职责 理解时的边界
Webhooks 初始化受管任务的挂起状态;校验约束;相关 Pod 集成注入 gate API 请求处理与长期排队是两个过程
Job Framework 及集成控制器 提取 Job 资源需求生成 Workload;同步准入、驱逐、完成等状态 业务 Pod 主要由原 Job、Trainer、Ray 等控制器创建
Core Controllers 维护 Workload、队列等对象状态,驱动队列、缓存和准入条件更新 状态经多轮 reconcile 收敛
Queue Manager 管理待准入、暂不可准入和重新入队的 Workload 是内部内存结构,不是外部消息中间件
Scheduler Cache 维护资源类型、队列与共享关系、配额预留及相关放置视图 不同于通用 informer cache,也不是实际 GPU 的设备分配器
Kueue Scheduler 选择候选任务,评估 flavor、配额、共享、公平与抢占,产生准入相关决策 调度对象是 Workload;不负责最终 Pod-to-Node 绑定
AdmissionCheck 与可选扩展 执行额外条件;TAS 提供拓扑约束;MultiKueue 管理跨集群分发 扩展有各自控制循环;不代表都必须独立部署

准入调度循环会从队列取得候选任务,基于资源快照评估能否分配;控制器随后把决策、附加检查和工作负载状态推进到一致结果。实现中存在 leader election、缓存同步及多轮调谐,不能把架构图理解成同步调用链,也不能假设一个时刻所有对象状态都已经完成更新。[11][12]

需要特别纠正一句容易误读的话:Kueue 的核心算法面向 Workload,不等于整个 Kueue 从不修改 Job。Webhook 和集成控制器确实会处理 suspend、调度约束以及驱逐后的恢复逻辑。没有集成层,这些抽象决策不会自动作用到一个任意自定义 Job 上。[7]

四、核心对象怎样组成资源治理模型

图 2 Workload、队列与资源政策之间的关系。Namespace 范围的提交入口与集群范围的配额政策分开。

本例配额位于 ClusterQueue;Cohort 也可配置共享配额。ResourceFlavor 描述资源类型与节点约束。

对象 范围 职责
Workload Namespace 描述一个受管工作负载的资源需求、PodSets 和准入状态
LocalQueue Namespace 用户提交入口;指向一个 ClusterQueue
ClusterQueue Cluster 按资源类型管理配额,配置排队、共享、抢占及相关准入策略
ResourceFlavor Cluster 描述 A100/H100、Spot/On-demand 等资源变体及节点选择约束
Cohort Cluster 组织可共享资源的队列;可声明额外共享配额,并支持层级组织
AdmissionCheck Cluster 声明额外准入检查及其负责控制器
Topology Cluster 描述机架、区块、主机等拓扑层级,供 TAS 使用

三个边界最值得记住。第一,LocalQueue 是入口,通常不是一个独立 GPU 池;多个 LocalQueue 可以指向同一 ClusterQueue。第二,ResourceFlavor 不直接持有额度;本例将额度定义在 ClusterQueue 的 flavor/resource 项中,当前版本还允许在 Cohort 层配置额外共享配额。第三,Workload 是资源治理对象,不是执行进程,也不能用它的 Admitted 状态代替业务运行状态。[8][9][13][14][15]

Workload 的 podSets 对相同模板的 Pod 分组。例如两个相同 Worker 可以用一个 PodSet 表示,count=2,每个 Pod 申请 4 GPU,总需求为 8 GPU。具有参数服务器、Worker、Launcher 等不同角色时可以使用多个 PodSet。典型固定规模 Job 常对应一个 Workload,但弹性、切片或并发准入等高级机制不宜用“永远一对一”概括。[15]

五、两机八卡任务在 Kueue 中怎样运行

案例假设 node-a 和 node-b 各有 4 张同类 GPU,任务需要两个 Worker;每个 Worker 申请 4 GPU、8 CPU、32 GiB 内存。总需求为 8 GPU、16 CPU、64 GiB。这里用常规 nvidia.com/gpu 整卡资源解释;MIG、共享 GPU 和 DRA 的资源表示及设备分配路径需要另行配置。

资源抽象可以写成下面的简化片段。它用于说明 PodSet,省略了完整对象结构;正常使用时通常由对应的 Job 集成生成 Workload,不需要用户同时手工维护两份生命周期。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
spec:
queueName: research
podSets:
- name: worker
count: 2
template:
spec:
containers:
- name: trainer
resources:
requests:
cpu: "8"
memory: 32Gi
nvidia.com/gpu: "4"
limits:
nvidia.com/gpu: "4"

5.1 从提交到计算的九个阶段

第一步,API 接收任务。 任务被标记到 LocalQueue,并保持挂起。对具备 suspend 接口的 Job,原控制器此时不应启动训练 Pod;普通 Pod 集成则通过 gate 控制后续调度。

第二步,生成 Workload。 集成控制器抽取两个 Worker 的模板和数量,把总资源请求交给 Kueue;业务启动命令、通信配置和训练逻辑仍属于原任务体系。[4][5]

第三步,进入队列。 Queue Manager 维护候选次序。严格 FIFO 和尽力 FIFO 等策略会影响大任务遇到资源不足时,后面的可运行任务能否先获得机会。队列策略改变等待分布,也会影响大作业饥饿风险。[8]

第四步,评估额度与资源变体。 Kueue 检查目标 ClusterQueue 在相应 flavor 下是否有足够 quota,是否可以借用共享额度,是否需要和允许抢占。配置了 TAS 时,还会涉及节点拓扑与可放置容量评估。[8][16]

第五步,预留配额。 Workload 获得资源分配信息和配额预留状态。预留不等于节点绑定,也不一定已经完成最终准入;它可能仍在等待额外的 AdmissionCheck。

第六步,完成准入。 配置的检查满足条件后,相关控制循环推进 Admitted。某些检查会等待资源供应或远端集群响应,因此应分别观察“没有额度”和“已有额度、检查未完成”。[17][18]

第七步,恢复原任务。 集成控制器解除挂起,并应用必要的 flavor 或拓扑相关约束;原 Job 或训练控制器开始创建业务 Pod。

第八步,放置、启动并开始计算。 Pod 调度器选择节点并绑定,kubelet、设备插件和运行时完成节点执行;训练进程还需完成数据准备、通信初始化等步骤。两个 Pod 都 Ready,也不必然代表第一个有效训练 step 已发生。

第九步,完成、回收或重排。 原任务状态经集成回写,Kueue 更新配额账本;被驱逐或启动超时的任务按配置停止、清理并重新排队。物理 GPU 的释放要等节点侧资源实际退出,不能把一次状态写入当成设备立即可用。[7][12]

附录 A 给出最小队列与任务资源形状示例。它只演示准入接线;训练镜像、Launcher、rendezvous、存储和数据集必须由执行框架补齐。

5.2 TAS 与等待就绪分别补足什么

**Topology-Aware Scheduling,简称 TAS,**使 Kueue 的判断深入到物理拓扑和容量。官方文档说明,它会基于可调度的 Ready 节点、其他已准入 TAS 工作负载以及非 TAS Pod 的占用计算容量,并形成拓扑放置约束。因而“今天的 Kueue 完全不看节点,只看一个总数”已经不准确;不过最终 Pod 绑定仍属于 Pod 调度器。[16]

waitForPodsReady 则在准入之后观察任务能否按要求就绪,超时可触发驱逐和重排;相关配置还可控制是否继续准入后续任务。这是一种减少长时间部分启动的恢复机制,并不把多个 Pod 的绑定和容器启动变成原子操作。超时过短会造成反复重启,过长则让配额和 GPU 继续等待,阈值应覆盖正常镜像、数据和模型初始化时间。[19][20]

六、Volcano 的架构与同一任务的运行路径

6.1 作业控制与调度是两套不同的职责

Volcano 的常见部署包含 Admission/Webhooks、Controller Manager 和 Scheduler,另有 vcctl 等工具。Controller Manager 中的 Job、PodGroup、Queue 等控制器协调对象生命周期;Scheduler 维护调度视图并执行策略。它们通过 API Server 与事件、状态交互,节点上的 kubelet、运行时和设备组件负责实际执行。

概念 在 Volcano 中的含义 容易混淆之处
VolcanoJob batch.volcano.sh/v1alpha1 下的 Job,自身有任务、策略和重试配置 与 batch/v1 的原生 Job 是不同 API
Task VolcanoJob 内的角色或一类副本,例如 Worker、PS 不是独立的 Kubernetes 调度绑定对象
PodGroup 表达一组 Pod 的联合调度要求与聚合状态 不是训练进程,也不等于 VolcanoJob 全部生命周期状态
Queue 资源份额、公平与回收的政策范围 额度通常不是固定物理 GPU 所有权
Pod 实际放置到节点上的执行单位 容器 Ready 与应用已进入有效训练仍有距离

这些对象解释了为什么只写 schedulerName: volcano 还不够。该字段选择负责 Pod 的调度器;gang 所需的 PodGroup、成员关联及队列信息,还必须由受支持的集成或相应控制器正确建立。使用 Trainer 或其他算子时,其原控制器不会因为 schedulerName 改变而自动变成 VolcanoJob controller。[21][22]

6.2 Session、Action 与 Plugin

Volcano Scheduler 的 Session 可以理解为一轮调度的对象视图和策略扩展上下文。Action 组织要执行的步骤;plugin 在对应扩展点提供排序、过滤、资源和 gang 等判断。不同配置可以采用不同 Action 序列与插件组合,下面列的是常见基本路径,不是对所有版本能力的完整清单。

机制 常见作用 配置边界
enqueue 进行作业入队与资源准入判断 不等同于已选好节点;具体准入条件依赖插件与配置
allocate 筛选、评分节点,暂存分配并在满足条件后提交 gang 等约束可能阻止提交
preempt / reclaim 经典路径中分别处理队列内抢占与跨队列回收 需对应 Action 和插件;新版还有更细的作业级机制
backfill 处理相关路径中的 BestEffort、无显式资源请求任务 不能笼统等同于全部 HPC backfill 算法
gang / priority 检查最低成员门槛;参与优先级决策 minMember 是成员数,不是 GPU 数
capacity / proportion 按容量或权重管理队列份额 是不同资源管理模型,不能照抄为同时启用
predicates / nodeorder / binpack 节点过滤、打分和紧凑放置等 负责不同策略扩展点

scheduler plugins 还应与 Job controller plugins 分开:env、svc、ssh 处理环境变量、服务发现、SSH 等作业启动辅助;gang、capacity 等处理调度政策。启用 svc/env 并不会自动把任意训练脚本变成正确的分布式训练程序。[23][24][25]

6.3 两个 Worker 怎样从 VolcanoJob 走到 GPU

仍以每个 Worker 4 GPU、8 CPU、32 GiB 为例:VolcanoJob 的 minAvailable: 2 描述最低成员数量;典型生成的 PodGroup 包含 minMember: 2,对应最低资源需求 8 GPU、16 CPU、64 GiB。

在启用 enqueue 的典型初始路径中,Job controller 先创建 PodGroup;当其状态仍为空或 Pending 时,暂不进入任务 Pod 的同步。Scheduler 根据入队政策通常将 PodGroup 推进到 Inqueue,controller 随后创建 Worker Pod。当前主分支源码中的同步条件实际是“状态非空且不为 Pending”,并非只允许 phase == Inqueue;后续 Running 等状态也需要继续调谐。[23][26]

Worker Pod 出现后,allocate 为它们寻找节点并形成暂定分配。假设 node-a、node-b 各能容纳一个 Worker,gang 条件得到满足后,调度器提交相关操作;否则在该轮放弃或回滚相应暂定分配,等待新机会。Action 流水线可配置;未启用 enqueue 时,allocate 实现还存在相应的状态推进路径,不能把一种配置写成所有版本的必经步骤。[23][27]

提交后仍由 Kubernetes 的单个 Pod 绑定和节点执行流程推进。常规扩展资源 GPU 路径下,调度器决定节点和资源数量,kubelet 与设备插件完成实际设备分配;训练框架再处理成员发现、通信、失败重试与 checkpoint 恢复。

PodGroup Running 不能直接解释为所有容器已经 Ready。VolcanoJob、PodGroup、Pod 是三个状态层次;作业重启政策、容器 restartPolicy、应用从 checkpoint 恢复也是三个不同层次。ttlSecondsAfterFinished: 600 表示完成后的对象清理安排,不意味着 GPU 在计算结束后必须再被占用 600 秒。[21][42][43]

6.4 Queue 字段不能与 Kueue 逐项硬套

Volcano 字段 在相关队列模型中的含义 与 Kueue 对比时的注意点
guarantee 保留给本队列、其他队列不能使用的额度 不能直接等同于可参与借贷的 nominalQuota
deserved 应得份额;闲置部分可被利用,超出份额部分可按策略回收 不是使用硬上限
capability 资源使用硬上限 不能简单替换为一个借贷字段
weight proportion 模型下计算份额的权重 不同于 capacity 的固定 deserved
reclaimable 是否允许其他队列按相关规则回收本队列资源 false 不意味着免疫所有抢占、故障或终止

官方文档给出的资源关系包括 guarantee ≤ deserved ≤ capability,并明确 capacity 与 proportion 的不同使用方式。比较两个系统时应比较“保留多少、可借多少、如何回收、谁能抢占”这些业务规则,而不是为 API 字段制造一一对应关系。[28]

七、Kueue 与 Volcano 的 gang 到底重叠在哪里

讨论 gang,首先要说明所谓“一起”发生在哪个阶段。固定规模任务一次获得完整配额,是作业级准入;调度器找到满足最低成员数的放置方案后再提交,是放置阶段的协调;全部容器 Ready、通信完成并开始训练,又是更晚的执行结果。

维度 Kueue Volcano
整体资源资格 按 Workload 进行配额预留与准入;部分准入等高级配置另论 通过 Queue、PodGroup、enqueue 及插件进行作业准入
节点可放置性 基础配额判断不等于 placement;TAS 可进一步检查拓扑容量 allocate 与节点策略直接参与成员放置
部分启动治理 waitForPodsReady 等机制观察、超时回收和重排 gang 在调度阶段检查最低成员门槛
最终 Pod 绑定 交给选定的 Pod 调度器 Volcano Scheduler 负责其管理 Pod 的绑定流程
应用恢复 依赖任务集成、原控制器与应用 checkpoint Job policy 可组织重试,模型状态恢复仍依赖应用
多 Pod 原子启动 不保证 也不提供跨 Pod API 原子绑定或同时 Ready 的保证

Volcano 的 Statement.Commit 会遍历已记录操作并分别执行。调度器内部能暂存或回滚一组候选分配,不等于 API Server 提供多个 Pod 同时生效的事务。因此 JobReady 在调度框架中的含义,也不能直接翻译成所有 Pod 的 Ready=True。[29]

这回答了“Kueue 和 Volcano 是否不太对付”:能力重叠是真实的,架构上的不兼容并非必然。 若已有 Volcano 平台且团队共享、抢占与训练运行管理都满意,新增 Kueue 可能只是重复队列。若需要把采用不同控制器、不同执行环境的任务放在统一资源治理入口之下,它才有更清楚的增量价值。

八、多调度器共存能用 Kueue 但不能省略协调设计

8.1 一个调度器也完全可以使用 Kueue

Kueue 的常见组合就是 Kueue 加默认 kube-scheduler。它独立出来的原因,是平台级资源治理可以复用,而不是只有出现两个调度器才需要准入层。多调度器是可适用的部署形态之一。

一个集群可以通过 schedulerName 让不同 Pod 走不同调度器。Kueue 可以先依据统一队列政策放行受支持的任务,再由各自的调度器完成放置。但“使用相同 API Server”并不自动使独立调度器拥有相同的瞬时缓存或统一的原子资源预留。Kubernetes 官方文档也区分同一调度器进程内的多个 profile 与多个独立调度器:前者共享相关调度状态,后者可能对同一节点发生资源竞争,通常建议考虑独立节点集合。[30]

8.2 真正的组合至少要对齐四个契约

任务控制契约。 谁创建 Workload,谁负责 suspend/resume,谁创建业务 Pod,谁在驱逐后清理并回写完成?某个框架分别支持 Kueue 和 Volcano,不等于任意版本、任意配置的组合已经被支持。尤其不能仅凭给 VolcanoJob 加一个队列标签,就宣称它获得 Kueue 原生集成。

资源记账契约。 Kueue 与下层队列需要对资源类型、计量单位和容量范围建立明确映射,并协调保留、借用与回收规则。两层规则不必逐项相同,但不能相互矛盾或重复承诺同一份容量。未纳入治理的工作负载会影响实际容量,不能因为总配额数字自洽就忽略它们。

政策归属契约。 需要明确哪个系统决定租户份额、优先级与抢占,哪个系统决定节点和 gang。比如 Kueue 按借贷规则回收一项任务,下层 Volcano 又按另一套份额规则回收另一项任务,就可能引起本可避免的重排与振荡。这是需要验证的设计风险,不是已经对所有组合观察到的必然故障。

放置和回收契约。 下层调度器是否正确处理 flavor 选择、拓扑约束与 scheduling gates?驱逐状态如何传播?终止宽限期与 checkpoint 需要多长时间?从逻辑额度返回到 GPU 真正可用之间的延迟,必须纳入上线验收。

因此,Kueue 可以是多个执行路径之前的共同治理层,但不会自动成为这些调度器共享的节点事务协调器。没有明确集成文档和验证结果时,应把 Kueue 加 Volcano 视为需要集成验证的架构选项,而非默认即插即用。

8.3 MultiKueue 处理的是另一个维度

MultiKueue 的 manager 集群负责把候选工作负载分发到 worker 集群,选择接纳者并同步远端作业状态;执行集群再按自己的 Kueue 和 Pod 调度流程运行。它处理的是跨集群容量选择与执行分发,不是同一集群中多个 Pod 调度器的缓存一致性。manager 的额度与 worker 可用配额也需合理对应,不能把跨集群 API 连接直接当成无限容量。[31]

九、在训练和推理生命周期中放在哪里

场景 Kueue 合适介入的环节 执行侧还需要什么
固定规模分布式训练 提交后排队、整体资源准入、资源类型选择、按策略回收和重排 训练算子、Launcher、通信、checkpoint;需要时加 gang 或拓扑能力
弹性训练与可中断研究任务 在受支持集成下处理资源变化与共享 应用真正支持副本变化、恢复和抢占成本控制
离线评估、批量转写、批量生成 将有限作业统一排队、分配 GPU 并统计完成时间 Job 或工作流控制器、数据切分与结果落盘
在线模型服务创建或扩容 在支持的 Deployment、Pod 等集成下控制新增实例的资源资格 KServe、扩缩容器、推理引擎及网络层
单个在线请求进入已运行模型 通常不在这个控制循环中 网关、请求队列、限流、动态批处理、KV cache 和引擎调度

对训练而言,Kueue 贯穿“提交—排队—获准—运行反馈—回收或结束”的资源治理闭环;它不管理每一步反向传播,也不自动保证 checkpoint 完整。可被安全暂停和恢复的工作负载,更容易通过共享和抢占提高资源池使用效率。

批量推理的运行形态接近 batch job,因此 Kueue 的作用也接近训练准入。在线推理要多考虑一个关键约束:服务实例晚几分钟启动,可能直接影响延迟和可用性。提高集群 GPU 利用率与缩短在线扩容时间,未必总朝同一方向变化。

9.1 KServe 与 Kueue 的连接需要落到具体对象

KServe 的控制面管理模型服务对象及相应部署;Kueue 若参与,通常控制的是这些执行资源何时获得资格。当前 Kueue 的 Deployment 文档描述了按 Pod 分别创建 Workload 的方式,扩容时新增 Pod 需逐个获得准入;配额不足时可能只有一部分副本获准。因此不能把它解释成任意 Deployment 天然具有整组 gang,也不能由此直接推导任意 KServe InferenceService 都可无配置接入。[32][33]

实际接入必须核对:所用 KServe 部署模式产出什么对象,是否采用相应版本规定的队列标签入口,以及管理信息是否正确传播。官方 Deployment 示例的入口是 Deployment.metadata.labels,不应笼统要求所有部署都由用户手工给 Pod template 加队列标签。还需确认相关 Kueue 集成已启用,以及上层控制器与 gate、驱逐、重建行为是否协调。对于多个 Pod 协同提供一个模型实例的架构,需要支持相应分组语义的运行控制器和调度集成,不能套用每个 Deployment Pod 独立获准的简单模型。[32]

9.2 在线容量优先看回收时间与服务目标

一种可评估的政策是为在线服务保留稳定容量,把部分剩余额度借给可恢复的离线任务。Kueue 的 lendingLimit 等政策可以控制可借出范围;若所有容量都借满,再期待流量突增时立即取回,会遇到终止宽限期、存储卸载、checkpoint、镜像拉取和模型装载等延迟。[8][32] 这里保留的是逻辑配额;能否立即放置新增实例,仍取决于节点占用、资源碎片和拓扑条件。

设计时应把“从扩容决策到新实例可接流量”的时间与 TTFT、尾延迟、SLO 达标吞吐同时测量。若服务目标要求几十秒恢复,而实测抢占与模型启动要数分钟,就需要更多预留或不同的容量策略。Kueue 的准入算法耗时再短,也无法消掉这条执行链。

减少无效 Pending 和错误扩容信号同样不是 Kueue 的独占价值。Volcano 的 Scheduling Gates Queue Admission 文档也区分“因队列额度等待”和“因节点容量不足等待”,以避免将二者都解释成扩容需求。比较时应对齐实际启用的功能与版本。[34]

十、公开量化证据能证明什么

10.1 Runway 的生产案例

Runway 于 2026 年 4 月发布的工程文章报告,引入基于 Kueue 的资源治理后,GPU utilization 提升超过 20 个百分点。其配置包括关键任务的保留额度、共享借用与抢占。这说明在该生产环境中,资源共享政策和控制链改造有显著价值;文章是团队自述,并未提供足以复现实验的完整测量口径,因此不能把这个幅度当成所有集群的预期收益。[35]

同一篇文章还报告,在他们的系统里,从发起抢占到保留额度内的新任务开始运行,可能耗费 20—30 分钟;原因涉及宽限期、控制器清理和任务终止链路。它描述的是该部署的端到端回收时间,不是 Kueue 准入循环本身的通用延迟。这个结果也提醒我们,利用率收益要和可恢复性、回收时延一起评价。

10.2 一个可对照的批量推理实验

论文 Evaluating Kubernetes Performance for GenAI Inference: From Automatic Speech Recognition to LLM Summarization 在 ROSA、Kubernetes 1.32 的环境中,用一个配备 8 张 A100 的 GPU 节点运行 32 个 Whisper 作业(16 medium、16 large),每种配置执行三次。以下是论文表 3 的 makespan 中位数,即完成固定整批工作所需时间;百分比由本文按原始数值计算。[36][37]

配置 Makespan 中位数 相对原生 Jobs
原生 Kubernetes Jobs 60.5 分钟 基线
Kueue BestEffortFIFO 62.5 分钟 增加 3.3%
Kueue 加优先级 54.7 分钟 减少 9.6%
Kueue 加优先级及抢占 51.1 分钟 减少 15.5%
两个 ClusterQueue 加借用 55.0 分钟 减少 9.1%

对上述四个 Kueue 配置,论文报告的准入尝试耗时 P99 均低于 25 ms。这个数字衡量一轮准入尝试的处理时间,一次尝试可能处理多个 Workload,不包含任务等待额度、节点扩容、镜像或模型启动的时间。上述结果支持“政策选择会改变整批完成效率”,并不支持“只要安装 Kueue 就会更快”。

还应注意论文中的基线执行时间口径包含 Pod Pending,不能把其降低直接解释成模型计算速度成倍提升。该实验也没有用同等优化、正确配置的 Volcano 作为比较组,所以不能推出 Kueue 优于 Volcano。Runway 案例和这项小规模实验分别提供生产观察与受限对照证据,都不足以给出通用性能排名。

十一、在自己的平台上怎样量化收益

11.1 先定义业务完成而不是只看准入快慢

把关键时间点串起来:任务提交、获准、Pod 绑定、容器就绪、首个有效训练 step 或推理结果、整项任务完成。分布式任务应按关键路径统计,避免把并行阶段机械相加。被驱逐后还要记录终止、再次获准、恢复完成以及重算的工作量。

要回答的问题 建议指标 常见误读
用户是否更早拿到结果 提交到首个有效工作、提交到完成的 P50/P95/P99;固定任务集 makespan 只看 Pod 创建之后的时间,隐藏队列等待
GPU 是否产生更多有用工作 有效 samples 或 tokens / GPU·小时;GPU 活跃度、显存与带宽指标;等待和重算 GPU·小时 把已申请 GPU 数直接当成实际利用率
在线服务是否达标 TTFT、TPOT、端到端 P99、SLO 达标吞吐、扩容到可接流量耗时 提高总体吞吐却恶化尾延迟
资源共享是否公平 各团队需求满足率、队列最长等待、借用/回收量、大任务饥饿 只报平均值,掩盖某一队列长期受阻
抢占是否值得 终止到资源可复用时间、恢复时间、checkpoint 与重算损失 只统计抢占成功次数
控制面是否更轻 API QPS、etcd/控制器/调度器资源、事件量、调度重试量 忽略新引入 Kueue 控制器的成本

固定工作量下可以计算 makespan 改善率 =(基线耗时 − 新方案耗时)÷ 基线耗时。若比较不同大小任务的吞吐,单看每小时完成作业数会失真;应固定任务集合,或按可比的有效工作量归一化。对于抢占任务,已经完成但被回滚的计算也应计入成本。

11.2 Kueue 自带指标怎样使用

指标 能说明什么 需要补充什么
kueue_admission_wait_time_seconds 从创建或重新入队到准入的等待时间 结合重排次数与完整用户任务时间线
kueue_admission_attempt_duration_seconds 一轮准入尝试的处理耗时;可能涉及多个 Workload 不能代替队列等待和启动时间
kueue_admitted_until_ready_wait_time_seconds 从准入到就绪的延迟 需相应 waitForPodsReady 配置;Ready 不代表有效训练开始
kueue_cluster_queue_resource_reservation
kueue_cluster_queue_resource_usage
ClusterQueue 的配额预留及准入资源记账 需相应资源指标配置;不是 GPU SM 利用率
kueue_evicted_workloads_total 驱逐次数及原因分布 结合丢失工作量、恢复时间和业务结果
kueue_finished_workloads_total 结束的工作负载计数 不能直接当成成功业务吞吐或等工作量产出

指标名、可选开关和标签应以安装版本的 metrics 文档为准。建议把 queue、job 与实际 GPU 监控及应用进度关联起来:Kueue 提供资格与等待视图,设备监控提供计算活动,应用指标提供有效产出。只看其中一层都不够。[38][39][40]

11.3 做一组有解释力的对照

选择真实提交轨迹,覆盖小任务、大型 gang、低优先级可中断训练和在线扩容。固定硬件、镜像缓存、数据位置、资源 requests、优先级、checkpoint 周期和失败注入条件。比较当前已优化方案与候选方案;若当前已经使用 Volcano,基线就应是正确配置的 Volcano,而不是刻意退回缺少队列政策的原生调度。

先验证任务正确完成,再比较整批耗时、有效 GPU 产出、公平与服务目标,最后分析控制面成本。重复测量并报告分布、规模和异常。收益可能是更高利用率,也可能是在吞吐相近时提供可预测的团队份额;后一种治理收益同样需要用等待与需求满足指标体现。

十二、按状态边界排查问题

观察到的状态 优先检查什么
Kueue 中没有 Workload 队列标签、集成是否启用、原对象是否属于受支持路径、Webhook 与控制器事件
有 Workload 但未预留额度 LocalQueue 到 ClusterQueue 的关系、额度、flavor、借贷上限、排队和优先级政策
已预留但未 Admitted AdmissionCheck 状态、资源供应或远端集群进展、相关控制器
Admitted 但 Pod 仍 Pending gate、schedulerName、节点资源形状、亲和/污点、拓扑、PVC 与所选调度器事件
Pod Running 或 Ready 但没有有效计算 训练成员与 rendezvous、通信、数据、模型初始化、应用错误
VolcanoJob 有对象但没有业务 Pod PodGroup 状态、入队政策、controller 事件;不要只盯 Pod 调度器
Volcano PodGroup 已 Inqueue 但任务未运行 allocate、gang 门槛、节点筛选、队列政策和抢占/回收路径
驱逐已发起但 GPU 没回来 终止宽限期、finalizer、控制器清理、设备释放、存储卸载和应用退出

排查顺序体现了架构边界:先确认对象与集成,再查资源资格,接着查具体放置,最后查节点执行和业务进度。所有层都显示“成功”的标准不同,不应把一个上游条件当成下游运行成功的证明。

十三、选型从治理目标开始

已有条件或目标 优先评估的路径
默认 kube-scheduler 足够,主要缺团队配额、共享与作业排队 Kueue 加已有 Job 或训练控制器
已经依赖 VolcanoJob、gang 与队列治理,现有政策满足需求 继续完善 Volcano,先度量是否存在未解决的治理问题
多个执行框架需要共同政策,或希望治理层与 Pod 调度器解耦 评估 Kueue,逐项核对任务集成与下层政策归属
任务需在多个 Kubernetes 集群之间选择执行容量 评估 MultiKueue 及匹配的工作负载集成
主要目标是模型发布、路由、运行时和弹性服务 以 KServe 等服务系统为主;资源准入作为另外的容量设计
在线扩容时延严格,抢占恢复较慢 先确定保留容量和可回收预算,再决定借贷及准入策略

Kueue 可以为“谁先用、能用多少、能否借、何时收回”提供统一治理;Volcano 已经在同类问题上提供不少能力,并进一步承担批任务的节点调度。平台真正需要选择的是这些决策由谁负责,以及它们能否形成稳定、可观测的闭环。用提交到结果的时间、有效 GPU 产出、服务目标和团队公平验证设计,比只问“是否支持 gang”更接近实际收益。

附录 A Kueue 最小配置形状

以下配置按核对时官方文档中的 kueue.x-k8s.io/v1beta2 表达。假设已经安装并启用 Job 集成,存在 team-a 命名空间,两台 GPU 节点具有 accelerator: a100 标签,且 CPU、内存和 GPU 的可分配资源充足。此处使用 Kubernetes 自动维护的 namespace 名称标签选择 team-a。[41]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
apiVersion: kueue.x-k8s.io/v1beta2
kind: ResourceFlavor
metadata:
name: a100
spec:
nodeLabels:
accelerator: a100
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: ClusterQueue
metadata:
name: team-a
spec:
namespaceSelector:
matchLabels:
kubernetes.io/metadata.name: team-a
queueingStrategy: BestEffortFIFO
resourceGroups:
- coveredResources: [cpu, memory, nvidia.com/gpu]
flavors:
- name: a100
resources:
- name: cpu
nominalQuota: 16
- name: memory
nominalQuota: 64Gi
- name: nvidia.com/gpu
nominalQuota: 8
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: LocalQueue
metadata:
name: research
namespace: team-a
spec:
clusterQueue: team-a

下面的原生 Job 只展示两个并行 Pod 的资源形状与 suspend 接入。示例镜像是占位符;它没有配置分布式 Launcher、rendezvous 和共享存储,不能直接当成可运行的两机训练程序。实际训练可采用已支持的 TrainJob、JobSet 等控制器,让它们正确管理分布式执行语义。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
apiVersion: batch/v1
kind: Job
metadata:
name: two-workers
namespace: team-a
labels:
kueue.x-k8s.io/queue-name: research
spec:
suspend: true
parallelism: 2
completions: 2
template:
spec:
restartPolicy: Never
containers:
- name: trainer
image: example.com/train:replace-me
resources:
requests:
cpu: "8"
memory: 32Gi
nvidia.com/gpu: "4"
limits:
nvidia.com/gpu: "4"

本例没有配置 cohort、借贷、TAS、AdmissionCheck 或 waitForPodsReady,用于把最基本的对象接线讲清楚,不代表仅凭这份 YAML 就建立了所有整体放置和恢复能力。现有集群若使用其他 API 版本,应按其 CRD schema 调整,而不是直接替换版本字符串。

附录 B 同一资源形状的 VolcanoJob

假设已经创建并配置 team-a Queue,Volcano 对应插件和 Action 已启用,namespace 与设备环境就绪。下例同样使用占位镜像;两种方案用于比较资源控制路径,不是可以同时提交的联合集成配置。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
name: two-workers
namespace: team-a
spec:
schedulerName: volcano
queue: team-a
minAvailable: 2
maxRetry: 3
ttlSecondsAfterFinished: 600
plugins:
env: []
svc: []
policies:
- event: PodFailed
action: RestartJob
- event: PodEvicted
action: RestartJob
tasks:
- name: worker
replicas: 2
template:
spec:
restartPolicy: Never
containers:
- name: trainer
image: example.com/train:replace-me
resources:
requests:
cpu: "8"
memory: 32Gi
nvidia.com/gpu: "4"
limits:
nvidia.com/gpu: "4"

minAvailable: 2 是最低成员门槛;RestartJob 组织作业重试,无法替应用保存训练状态。生产配置还需为可恢复性、成功条件和训练通信做专门设计。[42][43] 两套示例均用于解释结构,本文未在真实 Kubernetes 集群部署验证。

附录 C 常用观察入口

1
2
3
4
5
6
7
8
9
10
kubectl get workloads.kueue.x-k8s.io -n team-a
kubectl get localqueues.kueue.x-k8s.io -n team-a
kubectl describe clusterqueues.kueue.x-k8s.io team-a

kubectl get jobs.batch.volcano.sh -n team-a
kubectl get podgroups.scheduling.volcano.sh -n team-a
kubectl describe queues.scheduling.volcano.sh team-a

kubectl get pods -n team-a -o wide
kubectl get events -n team-a --sort-by=.lastTimestamp

先用列表定位具体对象,再 describe 对应 Workload、PodGroup 或 Pod。驱逐和重排场景建议保留 Job UID、Workload UID、Pod UID 与关键时间戳,避免把一次逻辑任务的多个尝试误当成不同业务任务。

参考资料

资料核对日期为 2026 年 11 月 19 日。官方文档与主分支源码会继续变化;涉及 API、特性成熟度、默认值、集成开关及指标时,以实际部署版本为准。本文中的数值案例与公开实测已分别标明,未将不同来源的指标混作同一实验。

  1. Kueue Overview
  2. Volcano Queue Resource Management v1.16.0
  3. KServe Architecture
  4. Kueue Run Kubernetes Jobs
  5. Kueue Run Plain Pods
  6. Introducing Kueue — Kubernetes Blog, 2022
  7. Kueue Integrate a Custom Job
  8. Kueue ClusterQueue
  9. Kueue Cohort
  10. Kueue Controller Manager 入口源码 — main 分支
  11. Kueue Scheduler 源码 — main 分支
  12. Kueue Workload Controller 源码 — main 分支
  13. Kueue LocalQueue
  14. Kueue ResourceFlavor
  15. Kueue Workload
  16. Kueue Topology-Aware Scheduling
  17. Kueue Admission
  18. Kueue AdmissionCheck
  19. Kueue All-or-nothing Scheduling
  20. Kueue Setup All-or-nothing with Ready Pods
  21. Volcano PodGroup
  22. Kubeflow Trainer Volcano Integration
  23. Volcano Scheduler Actions
  24. Volcano Env Plugin v1.16.0
  25. Volcano SVC Plugin v1.16.0
  26. Volcano Job Controller Actions 源码 — master 分支
  27. Volcano Allocate Action 源码 — master 分支
  28. Volcano Queue v1.16.0
  29. Volcano Statement Commit 源码 — v1.16.0
  30. Kubernetes Running Multiple Schedulers
  31. Kueue MultiKueue
  32. Kueue Run Deployment
  33. KServe Control Plane Architecture
  34. Volcano Scheduling Gates Queue Admission v1.16.0
  35. Runway — No Idle GPUs: Managing Research Compute at Runway, 2026-04-27
  36. Evaluating Kubernetes Performance for GenAI Inference — arXiv:2602.04900v3
  37. Red Hat Research — Kubernetes Meets GenAI
  38. Kueue Metrics Reference
  39. Kueue Common Grafana Queries
  40. Kueue Monitor Actual Resource Usage
  41. Kueue Administer Cluster Quotas
  42. Volcano Job
  43. Volcano Job Policy