avatar
文章
322
标签
524
分类
79
关于笔者
主页
博文
  • 分类
  • 标签
  • 归档
生活
友链
留言板
Roger-Lv's space
搜索
关于笔者
主页
博文
  • 分类
  • 标签
  • 归档
生活
友链
留言板

Roger-Lv's space

Volcano Action 与 Plugin 如何协作:生命周期、扩展点与调用关系
发表于2026-11-19|AI Infra
源码基准:Volcano v1.16.0。 本文聚焦 Scheduler 中的 Action、Session 与调度插件,使用对照表解释实际调用关系。ssh、svc、env 等 Job Controller 插件属于另一套生命周期,不纳入下面的 Action 映射。 理解 Volcano 时,很容易把插件想成一组依次运行的步骤:先执行 priority,再执行 gang,最后执行 predicates。实际结构更适合用“流程与策略”来理解:Action 组织调度流程,Plugin 提供策略函数,Session 保存本轮状态并负责调用、组合这些函数。 因此,“插件融入各个 Action 的执行过程”这个理解基本正确,但还需要补上一个边界:插件实例的生命周期属于 Session;Action 在执行过程中使用插件注册的回调。 同一个插件可以服务多个 Action,同一个 Action 也会使用多个插件。Session 框架 阅读导航 Session、Action、Hook、Plugin 分别是什么 一轮调度中的插件生命周期 Action → 扩展点 → 插件总表 展开 all...
理解 Kueue 的架构与训练推理资源治理
发表于2026-11-19|AI Infra
从作业准入到 Volcano、KServe 和多调度器协作 技术博客 · 资料核对日期 2026 年 11 月 19 日 训练平台引入 Kueue 时,最容易产生的疑问是:调度器已经判断资源能否满足,Volcano 还有 gang、队列和抢占,为什么还要再加一层准入?回答这个问题,需要把一次任务运行拆成几个不同的决策,并明确谁拥有每个决策的最终解释权。 Kueue 将工作负载级的排队、配额共享与准入治理抽成独立控制层;Volcano 将队列治理、作业生命周期和批任务节点调度放进一套系统;KServe 负责模型服务的部署与服务化。 Kueue 和 Volcano 存在实质重叠,也可以在明确分工后组合。Kueue 的价值并不以多调度器为前提,组合后的收益也不能靠组件数量推断。[1][2][3] 本文以两台各有 4 张 GPU 的节点、一个包含两个 Worker 的训练作业为贯穿案例。Kueue 的基础流程按固定规模、受支持的 Job 集成解释;TAS、MultiKueue、弹性工作负载和服务型负载另行说明。Volcano 主要采用 v1.16.0 文档中的传统 Queue 与常见...
Kubernetes Admission Webhook 的注册机制与请求生命周期
发表于2026-11-19|AI Infra
在 Kubernetes 训练平台中,提交一个作业后,常见的两种结果是:API 直接返回“禁止使用这个队列”;或者作业创建成功,但一直等待 GPU。 这两种结果发生在不同阶段。前者可以由 Admission Webhook 在 API 请求处理过程中作出决定;后者通常由作业控制器和调度器在对象创建之后处理。 Admission Webhook 的核心机制是:我们运行一个 HTTPS 服务,再通过 Kubernetes API 对象声明调用规则;API Server 在处理匹配的请求时,同步调用这个服务,根据响应继续修改、接纳或拒绝请求。 本文以 VolcanoJob 为例,介绍 Webhook 如何注册、API Server 如何回调、AdmissionReview 如何表达校验结果,以及它与 Controller、资源调度之间的职责边界。文中的 training-policy-webhook 是假设的训练平台组件,队列限制和默认值均为示例策略,并非声称 Volcano 默认采用这些规则。 一、Admission Webhook 在 API 请求中的位置 客户端向 Kubern...
从 Single Root 到设备直通,理解 IOMMU 与 QEMU、KVM、VFIO
发表于2026-11-18|AI Infra
在上一篇文章中,我们讨论了 SR-IOV、VFIO,以及虚拟机与容器使用设备驱动的区别。沿着设备直通继续往下看,还会遇到三个问题:SR-IOV 中的 Single Root 究竟指什么;设备为何需要 IOMMU;QEMU、KVM、VFIO 是三个独立方案,还是一套方案里的不同部分? 这三个问题分别涉及 PCIe 拓扑、设备访问内存的边界,以及虚拟机的软件分工。把它们放回各自的位置,就能理解一块物理设备如何交给虚拟机使用,以及这件事为什么不能只靠某一个组件完成。 本文以 Linux 宿主机、常规非机密的 x86 QEMU/KVM 虚拟机和 PCIe 设备直通为主要场景。其他体系结构及机密虚拟机可能采用不同的具体机制。 一、Single Root 描述的是怎样的 PCIe 拓扑 先区分 Root Complex 和 Root Port SR-IOV 的全称是 Single Root I/O Virtualization。理解 Single Root,首先要看设备如何接入处理器和系统内存一侧。 名词 在拓扑中的作用 Root Complex,RC PCIe 根端的硬件逻...
从 SR-IOV 和 VFIO 理解云原生 GPU 与网络虚拟化
发表于2026-11-18|AI Infra
在云计算和 Kubernetes 环境中,同一块 GPU 或网卡可能以整卡、PCIe 虚拟功能、硬件分区或软件虚拟接口的形式提供给应用。SR-IOV、VFIO、macvlan、Network Namespace 和 vGPU 经常一起出现,却分别解决不同层次的问题。 理解这些技术,需要沿着三条线分析:硬件向操作系统暴露什么设备,哪个内核和驱动负责控制设备,应用最终被允许使用哪些资源。 这也能解释几个常见现象:为什么直通虚拟机需要自己的驱动,为什么普通容器能够使用节点驱动,以及为什么独占一个 VF 并不意味着独占整张网卡。 本文以 Linux、KVM/QEMU 和普通 Linux 进程型容器为背景。这里的“容器宿主机”指承载容器的 Kubernetes Node;Node 本身也可以是 VM。基于独立虚拟机的沙箱运行时需要按实际内核边界分析。 一、先区分设备虚拟化与设备分配 概念 所在层次 主要解决的问题 SR-IOV PCIe 设备能力 一个物理设备如何暴露多个可独立分配的 PCIe Function VFIO Linux 内核框架 如何向用户态提供受控的设备...
Sky-Scheduler 拓扑感知调度:如何选最少的 RDMA 域,再给 Quota 选节点
发表于2026-11-18|AI Infra
假设一个训练作业需要三个 worker,每个 worker 都占用一台带 RDMA 的 GPU 节点。机房里有一个域还剩两台,另外两个域各剩一台。逐个给 Pod 选节点,三个 worker 可能正好分散到三个域。先看整个作业,只要从两个域各取一部分资源就能放下。 Sky-Scheduler 用的是第二种思路。它把网卡到交换机的信息压成节点的 RDMA 域键,先为 Job 找一个能覆盖总需求的最小域组合,再用 Quota 和节点的谓词、评分及序号完成落位。这里的“最小”指域的数量最少。域键相等是网络局部性的代理指标,调度过程中没有按交换机跳数、链路带宽或实时拥塞计算通信代价。 文中用 Sky-Scheduler 指代所分析的调度器。下文的节点、域名和资源数字都用于算法推演。 从训练通信看调度的三个阶段 当 NCCL 执行 AllReduce 时,各 rank 都参与归约,并各自拿到归约结果。假设六台 GPU 服务器分接到两台 Leaf 交换机,每台 Leaf 下有三台服务器。一个需要三台服务器的 Job 如果选了 A 下的一台和 B 下的两台,跨这两组 Worker 的通信就要经...
推理服务调度的五层责任边界:一次请求从 K8s 走到 vLLM
发表于2026-11-09|AI Infra
一句话结论:所谓「推理调度」,不是一个调度器,而是五层彼此看不见的决策。每一层能做什么,完全由它能看见什么信息决定——把决策放错层,不是效果差一点,而是根本做不成。 K8s 调度器只看得见整数设备:它知道「还剩几张卡」,不知道每张卡的 KV Cache 水位、队列深度、模型是否加载完; Gang 层保证多卡模型「一起上车」,但它读不到 PodGroup 的调度结果; 拓扑层约束落点,而 GPU 互联的约束(TP 整除、MIG 不可跨实例通信)是硬约束,不是偏好; 路由器是唯一能看见「请求」的一层——公共前缀、活动请求数、队列深度只有它知道; 引擎内部再决定请求进哪个 batch,这一层 K8s 完全看不见。 这篇是一次「责任边界」的梳理。主线是一次推理请求穿过五层调度器时,每一层的可见性与决策权;对照组是 Kthena(Volcano 子项目,v1.0)的源码——它的每一层都做了明确取舍,恰好把边界照了出来。 同时,近期有一篇流传较广的公众号文章《从部署 vLLM 到 AI 基础设施:Kubernetes 推理平台生产级落地、容量设计与性能优化》,整体框架(容量、调度、弹...
国产 GPU 适配到底在适配什么:从 CUDA 生态到 vLLM 插件机制的执行链拆解
发表于2026-11-09|AI Infra
在一套兼容的 NVIDIA 环境里,部署一个大模型可能只需要一条命令: 123vllm serve /models/Qwen \ --tensor-parallel-size 1 \ --max-model-len 32768 换到国产 GPU 上,同样的模型、同样的 Python 代码,却可能遇到一长串看似互不相关的问题:PyTorch 认不出设备;权重能加载但执行 Attention 时异常退出;BF16 正常而 FP8 不被支持;单卡能跑但 Tensor Parallel 起不来;能出字但速度远低于预期;短上下文正常而长上下文 OOM;CUDA Graph、投机解码、MoE 这些优化全部不可用。 这些问题指向同一个根源:大模型推理并不直接跑在 GPU 硬件上,而是跑在一整套软硬件协同的执行体系上。 换一张卡,换掉的是整条链路。 一、模型不认识 GPU 以 Transformer 为例,无论 Qwen、DeepSeek 还是 GLM,模型首先描述的是一组数学计算——线性变换 Y=XWY = XWY=XW、注意力 softmax(QKT/d)V\mathrm{sof...
2026 大厂 AI Infra 生产排错测试(卷二)50 题全解:附 12 处题目勘误
发表于2026-11-09|AI Infra
这份试卷流传得挺广。它的定位很明确:不考概念背诵,而是把你直接扔进万卡集群的线上事故现场。题目质量整体在线——很多题干描述的现象(GPU 满载 100% 却无输出、单卡 OOM 引发连锁雪崩、Xid 静默故障)确实是生产里真实会遇到的东西。 但做下来发现一个问题:有 12 处题干前提站不住。有些是命名错误(DualPipe-V2 不存在),有些是职责错配(把节点健康探测的活儿算到调度器头上),还有些是版本演进导致的自然过时——最典型的是题目按 DeepSeek-V2/V3 的 MLA 配置(潜变量 512 + 解耦 RoPE 64)给 DeepSeek-V4 出题,可 V4 已经不用 MLA 了。 所以本文分两部分:先逐题给答案与解析,再把 12 处勘误集中列出。答案都尽量追到一手来源(NVIDIA 官方文档、PyTorch / vLLM 源码、Linux 内核定义、模型官方 config.json),而不是靠印象作答。 一、题目勘误汇总(先看这个) 先集中列出题干本身的问题,避免读者照着错前提记结论。 # 位置 问题 正确表述 1 判断 2 称 NCCL_DEB...
为什么一条 32k 请求能瞬间打爆显存:中间激活张量、常驻水位与 Chunked Prefill
发表于2026-11-09|AI Infra
推理服务最常见的崩溃形态是这样的:系统平稳运行了很久,突然因为一条长文本请求 CUDA OOM,整个实例挂掉。 直觉上会去怪权重太大或 KV Cache 爆了。但权重是启动时就固定的,KV Cache 有 PagedAttention 分页管理、增长是缓坡——它们都不解释「瞬间」这两个字。 真正的元凶是第三类显存:中间激活张量。 一、显存的三类「性格」 把推理时的 GPU 显存按行为特征分成三类,很多 OOM 问题会立刻变得清楚: 类型 内容 增长方式 管理手段 常驻水位 模型权重 启动即固定,不随负载变 量化、张量并行 线性累积 KV Cache 随 token 数 O(S)O(S)O(S) 缓坡上涨 PagedAttention 分页、前缀缓存、KV 量化 瞬时峰值 中间激活张量 单步内 O(S)O(S)O(S) 甚至 O(S2)O(S^2)O(S2) 尖峰 Chunked Prefill、FlashAttention 中间激活张量指的是前向计算过程中、每层算子之间临时产生并立即消费的那部分张量。它们既不是常驻显存的权重,也不是需要长期保留的 KV...
12…33
avatar
Roger-Lv
Send a flare and light the way.
文章
322
标签
524
分类
79
Follow Me
公告
Welcome!
最新文章
Volcano Action 与 Plugin 如何协作:生命周期、扩展点与调用关系2026-11-19
理解 Kueue 的架构与训练推理资源治理2026-11-19
Kubernetes Admission Webhook 的注册机制与请求生命周期2026-11-19
从 Single Root 到设备直通,理解 IOMMU 与 QEMU、KVM、VFIO2026-11-18
从 SR-IOV 和 VFIO 理解云原生 GPU 与网络虚拟化2026-11-18
分类
  • AI Infra48
  • AIInfra5
  • Agent28
  • Agent 安全2
  • Agent 系统2
  • Agent基础设施2
  • Agent工程1
  • CUDA1
标签
批调度 容器 推测解码 AReal 内核模块 仿真集群 Seq2Seq 保研 LKM Harness 推理调度 推理服务 AIInfra KServe SpringBoot ML系统 SkillClaw SR-IOV Xid 万卡集群 Snapshotter 反射 Admission Webhook 内核 多云 本科教学 加密 SDN SLB RDMA拓扑 计算机网络 straggler YuniKorn 深度学习 C语言 僵尸进程 ResNet xDS 重庆 开发套件
归档
  • 十一月 2026 33
  • 十月 2026 17
  • 九月 2026 9
  • 八月 2026 31
  • 七月 2026 31
  • 五月 2026 6
  • 四月 2026 2
  • 三月 2026 3
网站信息
文章数目 :
322
本站访客数 :
本站总浏览量 :
最后更新时间 :
©2024 - 2026 By Roger-Lv
搜索
数据加载中