avatar
文章
324
标签
524
分类
79
关于笔者
主页
博文
  • 分类
  • 标签
  • 归档
生活
友链
留言板
Roger-Lv's space
搜索
关于笔者
主页
博文
  • 分类
  • 标签
  • 归档
生活
友链
留言板

Roger-Lv's space

用 JuiceFS 保存训练 Checkpoint 时的容器权限边界
发表于2026-11-19|AI Infra
训练一个机器人策略模型时,通常希望任务中断后能换一批机器,从上一次完整的 checkpoint(CKPT)接着跑。用 JuiceFS 做共享存储时,训练代码可以直接写 /mnt/jfs/ckpt。但在一次托管 CPU 资源的对接中,平台支持方表示,企业版 JuiceFS 的挂载方式没有通过安全评估。为什么存一个模型文件会碰到容器特权?因为写文件之前,平台得先让另一个进程把远端文件系统挂进容器。 一次 CKPT 写入经过哪些组件 假设一个多卡任务每 5,000 步保存一次。它在第 23,000 步中断,下一个任务就从第 20,000 步那份完整的 CKPT 恢复。用于续训的 CKPT 通常包含模型权重、优化器状态和训练步数。使用 PyTorch Distributed Checkpoint 等分布式保存方式时,一份 CKPT 还可能包含多个数据分片和全局元数据。只做仿真评测的任务,则可能只需要单独导出的权重。 PyTorch 保存与恢复指南 · PyTorch Distributed Checkpoint 采用 JuiceFS CSI 的 sidecar 模式时,JuiceFS ...
从视觉 Token 到机器人动作:具身智能 VLA 与基础设施入门
发表于2026-11-19|AI Infra
面向读者:理解基本深度学习或软件工程,希望读懂具身模型论文、训练代码和推理系统的工程师。 本文围绕“把蓝色盘子左边的红杯子拿起来”展开,解释模型怎样获得视觉能力、怎样理解指令、怎样生成动作,以及基础设施怎样支撑这条链路。默认读者了解 loss、梯度和优化器,不重复通用机器学习入门。 资料核对日期:2026 年 11 月 19 日。OpenVLA、ACT、原版 π₀ 等用于说明代表性的设计,并非所有 VLA 的统一规范。除明确引用的模型配置外,文中的维度、时域和频率均为教学示例。 #article-container .katex-display { overflow-x: auto; overflow-y: hidden; padding: .2em 0; } #article-container .katex-display > .katex { min-width: 100%; width: max-content; } 阅读导航 想弄清的问题 对应章节 机器人到底观察什么、输出什么? 第 1 章 视觉编码器最开始怎样训练? ...
Volcano Action 与 Plugin 如何协作:生命周期、扩展点与调用关系
发表于2026-11-19|AI Infra
源码基准:Volcano v1.16.0。 本文聚焦 Scheduler 中的 Action、Session 与调度插件,使用对照表解释实际调用关系。ssh、svc、env 等 Job Controller 插件属于另一套生命周期,不纳入下面的 Action 映射。 理解 Volcano 时,很容易把插件想成一组依次运行的步骤:先执行 priority,再执行 gang,最后执行 predicates。实际结构更适合用“流程与策略”来理解:Action 组织调度流程,Plugin 提供策略函数,Session 保存本轮状态并负责调用、组合这些函数。 因此,“插件融入各个 Action 的执行过程”这个理解基本正确,但还需要补上一个边界:插件实例的生命周期属于 Session;Action 在执行过程中使用插件注册的回调。 同一个插件可以服务多个 Action,同一个 Action 也会使用多个插件。Session 框架 阅读导航 Session、Action、Hook、Plugin 分别是什么 一轮调度中的插件生命周期 Action → 扩展点 → 插件总表 展开 all...
理解 Kueue 的架构与训练推理资源治理
发表于2026-11-19|AI Infra
从作业准入到 Volcano、KServe 和多调度器协作 技术博客 · 资料核对日期 2026 年 11 月 19 日 训练平台引入 Kueue 时,最容易产生的疑问是:调度器已经判断资源能否满足,Volcano 还有 gang、队列和抢占,为什么还要再加一层准入?回答这个问题,需要把一次任务运行拆成几个不同的决策,并明确谁拥有每个决策的最终解释权。 Kueue 将工作负载级的排队、配额共享与准入治理抽成独立控制层;Volcano 将队列治理、作业生命周期和批任务节点调度放进一套系统;KServe 负责模型服务的部署与服务化。 Kueue 和 Volcano 存在实质重叠,也可以在明确分工后组合。Kueue 的价值并不以多调度器为前提,组合后的收益也不能靠组件数量推断。[1][2][3] 本文以两台各有 4 张 GPU 的节点、一个包含两个 Worker 的训练作业为贯穿案例。Kueue 的基础流程按固定规模、受支持的 Job 集成解释;TAS、MultiKueue、弹性工作负载和服务型负载另行说明。Volcano 主要采用 v1.16.0 文档中的传统 Queue 与常见...
Kubernetes Admission Webhook 的注册机制与请求生命周期
发表于2026-11-19|AI Infra
在 Kubernetes 训练平台中,提交一个作业后,常见的两种结果是:API 直接返回“禁止使用这个队列”;或者作业创建成功,但一直等待 GPU。 这两种结果发生在不同阶段。前者可以由 Admission Webhook 在 API 请求处理过程中作出决定;后者通常由作业控制器和调度器在对象创建之后处理。 Admission Webhook 的核心机制是:我们运行一个 HTTPS 服务,再通过 Kubernetes API 对象声明调用规则;API Server 在处理匹配的请求时,同步调用这个服务,根据响应继续修改、接纳或拒绝请求。 本文以 VolcanoJob 为例,介绍 Webhook 如何注册、API Server 如何回调、AdmissionReview 如何表达校验结果,以及它与 Controller、资源调度之间的职责边界。文中的 training-policy-webhook 是假设的训练平台组件,队列限制和默认值均为示例策略,并非声称 Volcano 默认采用这些规则。 一、Admission Webhook 在 API 请求中的位置 客户端向 Kubern...
从 Single Root 到设备直通,理解 IOMMU 与 QEMU、KVM、VFIO
发表于2026-11-18|AI Infra
在上一篇文章中,我们讨论了 SR-IOV、VFIO,以及虚拟机与容器使用设备驱动的区别。沿着设备直通继续往下看,还会遇到三个问题:SR-IOV 中的 Single Root 究竟指什么;设备为何需要 IOMMU;QEMU、KVM、VFIO 是三个独立方案,还是一套方案里的不同部分? 这三个问题分别涉及 PCIe 拓扑、设备访问内存的边界,以及虚拟机的软件分工。把它们放回各自的位置,就能理解一块物理设备如何交给虚拟机使用,以及这件事为什么不能只靠某一个组件完成。 本文以 Linux 宿主机、常规非机密的 x86 QEMU/KVM 虚拟机和 PCIe 设备直通为主要场景。其他体系结构及机密虚拟机可能采用不同的具体机制。 一、Single Root 描述的是怎样的 PCIe 拓扑 先区分 Root Complex 和 Root Port SR-IOV 的全称是 Single Root I/O Virtualization。理解 Single Root,首先要看设备如何接入处理器和系统内存一侧。 名词 在拓扑中的作用 Root Complex,RC PCIe 根端的硬件逻...
从 SR-IOV 和 VFIO 理解云原生 GPU 与网络虚拟化
发表于2026-11-18|AI Infra
在云计算和 Kubernetes 环境中,同一块 GPU 或网卡可能以整卡、PCIe 虚拟功能、硬件分区或软件虚拟接口的形式提供给应用。SR-IOV、VFIO、macvlan、Network Namespace 和 vGPU 经常一起出现,却分别解决不同层次的问题。 理解这些技术,需要沿着三条线分析:硬件向操作系统暴露什么设备,哪个内核和驱动负责控制设备,应用最终被允许使用哪些资源。 这也能解释几个常见现象:为什么直通虚拟机需要自己的驱动,为什么普通容器能够使用节点驱动,以及为什么独占一个 VF 并不意味着独占整张网卡。 本文以 Linux、KVM/QEMU 和普通 Linux 进程型容器为背景。这里的“容器宿主机”指承载容器的 Kubernetes Node;Node 本身也可以是 VM。基于独立虚拟机的沙箱运行时需要按实际内核边界分析。 一、先区分设备虚拟化与设备分配 概念 所在层次 主要解决的问题 SR-IOV PCIe 设备能力 一个物理设备如何暴露多个可独立分配的 PCIe Function VFIO Linux 内核框架 如何向用户态提供受控的设备...
Sky-Scheduler 拓扑感知调度:如何选最少的 RDMA 域,再给 Quota 选节点
发表于2026-11-18|AI Infra
假设一个训练作业需要三个 worker,每个 worker 都占用一台带 RDMA 的 GPU 节点。机房里有一个域还剩两台,另外两个域各剩一台。逐个给 Pod 选节点,三个 worker 可能正好分散到三个域。先看整个作业,只要从两个域各取一部分资源就能放下。 Sky-Scheduler 用的是第二种思路。它把网卡到交换机的信息压成节点的 RDMA 域键,先为 Job 找一个能覆盖总需求的最小域组合,再用 Quota 和节点的谓词、评分及序号完成落位。这里的“最小”指域的数量最少。域键相等是网络局部性的代理指标,调度过程中没有按交换机跳数、链路带宽或实时拥塞计算通信代价。 文中用 Sky-Scheduler 指代所分析的调度器。下文的节点、域名和资源数字都用于算法推演。 从训练通信看调度的三个阶段 当 NCCL 执行 AllReduce 时,各 rank 都参与归约,并各自拿到归约结果。假设六台 GPU 服务器分接到两台 Leaf 交换机,每台 Leaf 下有三台服务器。一个需要三台服务器的 Job 如果选了 A 下的一台和 B 下的两台,跨这两组 Worker 的通信就要经...
为什么一条 32k 请求能瞬间打爆显存:中间激活张量、常驻水位与 Chunked Prefill
发表于2026-11-09|AI Infra
推理服务最常见的崩溃形态是这样的:系统平稳运行了很久,突然因为一条长文本请求 CUDA OOM,整个实例挂掉。 直觉上会去怪权重太大或 KV Cache 爆了。但权重是启动时就固定的,KV Cache 有 PagedAttention 分页管理、增长是缓坡——它们都不解释「瞬间」这两个字。 真正的元凶是第三类显存:中间激活张量。 一、显存的三类「性格」 把推理时的 GPU 显存按行为特征分成三类,很多 OOM 问题会立刻变得清楚: 类型 内容 增长方式 管理手段 常驻水位 模型权重 启动即固定,不随负载变 量化、张量并行 线性累积 KV Cache 随 token 数 O(S)O(S)O(S) 缓坡上涨 PagedAttention 分页、前缀缓存、KV 量化 瞬时峰值 中间激活张量 单步内 O(S)O(S)O(S) 甚至 O(S2)O(S^2)O(S2) 尖峰 Chunked Prefill、FlashAttention 中间激活张量指的是前向计算过程中、每层算子之间临时产生并立即消费的那部分张量。它们既不是常驻显存的权重,也不是需要长期保留的 KV...
2026 大厂 AI Infra 生产排错测试(卷二)50 题全解:附 12 处题目勘误
发表于2026-11-09|AI Infra
这份试卷流传得挺广。它的定位很明确:不考概念背诵,而是把你直接扔进万卡集群的线上事故现场。题目质量整体在线——很多题干描述的现象(GPU 满载 100% 却无输出、单卡 OOM 引发连锁雪崩、Xid 静默故障)确实是生产里真实会遇到的东西。 但做下来发现一个问题:有 12 处题干前提站不住。有些是命名错误(DualPipe-V2 不存在),有些是职责错配(把节点健康探测的活儿算到调度器头上),还有些是版本演进导致的自然过时——最典型的是题目按 DeepSeek-V2/V3 的 MLA 配置(潜变量 512 + 解耦 RoPE 64)给 DeepSeek-V4 出题,可 V4 已经不用 MLA 了。 所以本文分两部分:先逐题给答案与解析,再把 12 处勘误集中列出。答案都尽量追到一手来源(NVIDIA 官方文档、PyTorch / vLLM 源码、Linux 内核定义、模型官方 config.json),而不是靠印象作答。 一、题目勘误汇总(先看这个) 先集中列出题干本身的问题,避免读者照着错前提记结论。 # 位置 问题 正确表述 1 判断 2 称 NCCL_DEB...
12…33
avatar
Roger-Lv
Send a flare and light the way.
文章
324
标签
524
分类
79
Follow Me
公告
Welcome!
最新文章
用 JuiceFS 保存训练 Checkpoint 时的容器权限边界2026-11-19
从视觉 Token 到机器人动作:具身智能 VLA 与基础设施入门2026-11-19
Volcano Action 与 Plugin 如何协作:生命周期、扩展点与调用关系2026-11-19
理解 Kueue 的架构与训练推理资源治理2026-11-19
Kubernetes Admission Webhook 的注册机制与请求生命周期2026-11-19
分类
  • AI Infra50
  • AIInfra5
  • Agent28
  • Agent 安全2
  • Agent 系统2
  • Agent基础设施2
  • Agent工程1
  • CUDA1
标签
虚拟内存 多调度器共存 容器化 safetensors RL LLM 世界模型 并发 Blackwell DRF 混部 Docker 隔离 显存管理 线性代数 C++ Kueue microVM 容器 大模型学习路线 ELF 蒸馏 node-runtime NVLink 中间件 贪心 Flowise DRA 网络 人工智能 KVM Karpenter 后端 CubeSandbox System Java Lora pytorch GPU集群 kcp
归档
  • 十一月 2026 35
  • 十月 2026 17
  • 九月 2026 9
  • 八月 2026 31
  • 七月 2026 31
  • 五月 2026 6
  • 四月 2026 2
  • 三月 2026 3
网站信息
文章数目 :
324
本站访客数 :
本站总浏览量 :
最后更新时间 :
©2024 - 2026 By Roger-Lv
搜索
数据加载中