从 Single Root 到设备直通,理解 IOMMU 与 QEMU、KVM、VFIO
在上一篇文章中,我们讨论了 SR-IOV、VFIO,以及虚拟机与容器使用设备驱动的区别。沿着设备直通继续往下看,还会遇到三个问题:SR-IOV 中的 Single Root 究竟指什么;设备为何需要 IOMMU;QEMU、KVM、VFIO 是三个独立方案,还是一套方案里的不同部分? 这三个问题分别涉及 PCIe 拓扑、设备访问内存的边界,以及虚拟机的软件分工。把它们放回各自的位置,就能理解一块物理设备如何交给虚拟机使用,以及这件事为什么不能只靠某一个组件完成。 本文以 Linux 宿主机、常规非机密的 x86 QEMU/KVM 虚拟机和 PCIe 设备直通为主要场景。其他体系结构及机密虚拟机可能采用不同的具体机制。 一、Single Root 描述的是怎样的 PCIe 拓扑 先区分 Root Complex 和 Root Port SR-IOV 的全称是 Single Root I/O Virtualization。理解 Single Root,首先要看设备如何接入处理器和系统内存一侧。 名词 在拓扑中的作用 Root Complex,RC PCIe 根端的硬件逻...
从 SR-IOV 和 VFIO 理解云原生 GPU 与网络虚拟化
在云计算和 Kubernetes 环境中,同一块 GPU 或网卡可能以整卡、PCIe 虚拟功能、硬件分区或软件虚拟接口的形式提供给应用。SR-IOV、VFIO、macvlan、Network Namespace 和 vGPU 经常一起出现,却分别解决不同层次的问题。 理解这些技术,需要沿着三条线分析:硬件向操作系统暴露什么设备,哪个内核和驱动负责控制设备,应用最终被允许使用哪些资源。 这也能解释几个常见现象:为什么直通虚拟机需要自己的驱动,为什么普通容器能够使用节点驱动,以及为什么独占一个 VF 并不意味着独占整张网卡。 本文以 Linux、KVM/QEMU 和普通 Linux 进程型容器为背景。这里的“容器宿主机”指承载容器的 Kubernetes Node;Node 本身也可以是 VM。基于独立虚拟机的沙箱运行时需要按实际内核边界分析。 一、先区分设备虚拟化与设备分配 概念 所在层次 主要解决的问题 SR-IOV PCIe 设备能力 一个物理设备如何暴露多个可独立分配的 PCIe Function VFIO Linux 内核框架 如何向用户态提供受控的设备...
Sky-Scheduler 拓扑感知调度:如何选最少的 RDMA 域,再给 Quota 选节点
假设一个训练作业需要三个 worker,每个 worker 都占用一台带 RDMA 的 GPU 节点。机房里有一个域还剩两台,另外两个域各剩一台。逐个给 Pod 选节点,三个 worker 可能正好分散到三个域。先看整个作业,只要从两个域各取一部分资源就能放下。 Sky-Scheduler 用的是第二种思路。它把网卡到交换机的信息压成节点的 RDMA 域键,先为 Job 找一个能覆盖总需求的最小域组合,再用 Quota 和节点的谓词、评分及序号完成落位。这里的“最小”指域的数量最少。域键相等是网络局部性的代理指标,调度过程中没有按交换机跳数、链路带宽或实时拥塞计算通信代价。 文中用 Sky-Scheduler 指代所分析的调度器。下文的节点、域名和资源数字都用于算法推演。 从训练通信看调度的三个阶段 当 NCCL 执行 AllReduce 时,各 rank 都参与归约,并各自拿到归约结果。假设六台 GPU 服务器分接到两台 Leaf 交换机,每台 Leaf 下有三台服务器。一个需要三台服务器的 Job 如果选了 A 下的一台和 B 下的两台,跨这两组 Worker 的通信就要经...
推理服务调度的五层责任边界:一次请求从 K8s 走到 vLLM
一句话结论:所谓「推理调度」,不是一个调度器,而是五层彼此看不见的决策。每一层能做什么,完全由它能看见什么信息决定——把决策放错层,不是效果差一点,而是根本做不成。 K8s 调度器只看得见整数设备:它知道「还剩几张卡」,不知道每张卡的 KV Cache 水位、队列深度、模型是否加载完; Gang 层保证多卡模型「一起上车」,但它读不到 PodGroup 的调度结果; 拓扑层约束落点,而 GPU 互联的约束(TP 整除、MIG 不可跨实例通信)是硬约束,不是偏好; 路由器是唯一能看见「请求」的一层——公共前缀、活动请求数、队列深度只有它知道; 引擎内部再决定请求进哪个 batch,这一层 K8s 完全看不见。 这篇是一次「责任边界」的梳理。主线是一次推理请求穿过五层调度器时,每一层的可见性与决策权;对照组是 Kthena(Volcano 子项目,v1.0)的源码——它的每一层都做了明确取舍,恰好把边界照了出来。 同时,近期有一篇流传较广的公众号文章《从部署 vLLM 到 AI 基础设施:Kubernetes 推理平台生产级落地、容量设计与性能优化》,整体框架(容量、调度、弹...
国产 GPU 适配到底在适配什么:从 CUDA 生态到 vLLM 插件机制的执行链拆解
在一套兼容的 NVIDIA 环境里,部署一个大模型可能只需要一条命令: 123vllm serve /models/Qwen \ --tensor-parallel-size 1 \ --max-model-len 32768 换到国产 GPU 上,同样的模型、同样的 Python 代码,却可能遇到一长串看似互不相关的问题:PyTorch 认不出设备;权重能加载但执行 Attention 时异常退出;BF16 正常而 FP8 不被支持;单卡能跑但 Tensor Parallel 起不来;能出字但速度远低于预期;短上下文正常而长上下文 OOM;CUDA Graph、投机解码、MoE 这些优化全部不可用。 这些问题指向同一个根源:大模型推理并不直接跑在 GPU 硬件上,而是跑在一整套软硬件协同的执行体系上。 换一张卡,换掉的是整条链路。 一、模型不认识 GPU 以 Transformer 为例,无论 Qwen、DeepSeek 还是 GLM,模型首先描述的是一组数学计算——线性变换 Y=XWY = XWY=XW、注意力 softmax(QKT/d)V\mathrm{sof...
2026 大厂 AI Infra 生产排错测试(卷二)50 题全解:附 12 处题目勘误
这份试卷流传得挺广。它的定位很明确:不考概念背诵,而是把你直接扔进万卡集群的线上事故现场。题目质量整体在线——很多题干描述的现象(GPU 满载 100% 却无输出、单卡 OOM 引发连锁雪崩、Xid 静默故障)确实是生产里真实会遇到的东西。 但做下来发现一个问题:有 12 处题干前提站不住。有些是命名错误(DualPipe-V2 不存在),有些是职责错配(把节点健康探测的活儿算到调度器头上),还有些是版本演进导致的自然过时——最典型的是题目按 DeepSeek-V2/V3 的 MLA 配置(潜变量 512 + 解耦 RoPE 64)给 DeepSeek-V4 出题,可 V4 已经不用 MLA 了。 所以本文分两部分:先逐题给答案与解析,再把 12 处勘误集中列出。答案都尽量追到一手来源(NVIDIA 官方文档、PyTorch / vLLM 源码、Linux 内核定义、模型官方 config.json),而不是靠印象作答。 一、题目勘误汇总(先看这个) 先集中列出题干本身的问题,避免读者照着错前提记结论。 # 位置 问题 正确表述 1 判断 2 称 NCCL_DEB...
为什么一条 32k 请求能瞬间打爆显存:中间激活张量、常驻水位与 Chunked Prefill
推理服务最常见的崩溃形态是这样的:系统平稳运行了很久,突然因为一条长文本请求 CUDA OOM,整个实例挂掉。 直觉上会去怪权重太大或 KV Cache 爆了。但权重是启动时就固定的,KV Cache 有 PagedAttention 分页管理、增长是缓坡——它们都不解释「瞬间」这两个字。 真正的元凶是第三类显存:中间激活张量。 一、显存的三类「性格」 把推理时的 GPU 显存按行为特征分成三类,很多 OOM 问题会立刻变得清楚: 类型 内容 增长方式 管理手段 常驻水位 模型权重 启动即固定,不随负载变 量化、张量并行 线性累积 KV Cache 随 token 数 O(S)O(S)O(S) 缓坡上涨 PagedAttention 分页、前缀缓存、KV 量化 瞬时峰值 中间激活张量 单步内 O(S)O(S)O(S) 甚至 O(S2)O(S^2)O(S2) 尖峰 Chunked Prefill、FlashAttention 中间激活张量指的是前向计算过程中、每层算子之间临时产生并立即消费的那部分张量。它们既不是常驻显存的权重,也不是需要长期保留的 KV...
runc 补篇之后:rootless 容器、privileged-without-device 与 dind 的 GPU 责任链
一句话结论:GPU 在容器里的可见性,不是由 --gpus 或 --device 这一层的写法决定的,而是由最外层那一次分配定死的——下游每一层都只能在集合内部重分配,一张也变不出来。 三条推论: rootless 影响的不是 request/limit 生效(那发生在宿主机的 kubelet / device plugin 进程里),而是运行时能不能把设备节点塞进去; privileged 与 device 是两条正交的轴,且 privileged 的默认行为是连设备一起给你——「门全开但屋里没东西」必须靠显式 opt-out 才能达成; dind 里 --gpus all 的 all 永远是局部 all——它能重分配外层给它的集合,但一张也变不出来。 这篇是《容器运行时拆解·补篇》的续篇。原篇把 runc create 之后的世界切成四个侧面——权限、记账、I/O、退出;这篇顺着同一条责任链往下走,聚焦读者最常追问的三个场景。 本文路线 全文分四段,可以按需跳读: 段落 章节 回答什么 ① 原理 一 ~ 六 三个时刻怎么切;privileged 与 de...
GPU 虚拟化技术栈全景:从 IOMMU 到 vGPU,再到 Agent 沙盒与具身仿真
一句话结论:从 IOMMU(硬件地址翻译与 DMA 隔离)→ VFIO(设备直通框架)→ SR-IOV(PCIe 级切分)→ MIG(硅片级硬切分)→ vGPU(软件时间片调度)这条链路,构成了 GPU 虚拟化的完整技术栈。「IOMMU 划边界、VFIO 做移交」这条直通链路,是所有 GPU 沙盒和具身仿真基础设施绕不开的地基。 本文按「技术原理 → 两大落地场景 → 一个真实落地案例 → 决策树」四层展开,并把各技术支持的功能以表格汇总。 所有技术描述核对自 Linux 内核文档、NVIDIA 官方文档、Intel/AMD 官方文档与各项目仓库。核对中发现原稿有二十余处需要更正,其中三处是实质性错误,已在文中以 ⚠️ 标注。 一、技术原理层:从 IOMMU 到 vGPU 1.1 IOMMU:硬件级安全边界 IOMMU 是提供地址翻译与设备隔离的硬件单元:对设备发出的 DMA 做 IOVA → HPA 翻译与访问保护,并提供中断重映射;隔离以 IOMMU group 为粒度。Intel 侧叫 VT-d,AMD 侧叫 AMD-Vi。 Linux VFIO 内核文档原文: ...
容器到底有没有内核?——拆解 Docker、Kata、Firecracker 的内核边界
一句话结论:Ubuntu 镜像里根本没有内核。 它不是一个「完整的 Linux 系统」,只是一份 rootfs——打包好的用户态二进制和库文件。容器里的进程发起的每一个 syscall 都直接打到宿主机内核上,namespace 只是给进程一个「看起来像独立系统」的视图,不是真的给它装了一个内核。 而 Kata 和 Firecracker 之所以「有自己的内核」,是因为它们在容器外多加了一层 VM,VM 里需要一份 guest kernel 来承载上面的容器——整个链路里只发生了一次虚拟化,不是嵌套。 本文的机制描述与实测数据核对自 Docker Registry 实际镜像内容、Linux 内核文档与 man pages、glibc 与 kmod 源码、Kata Containers 与 Firecracker 官方文档。核对中发现原稿有十余处需要更正,其中一处是流传很广的机制错误,已在文中以 ⚠️ 标注。 一、把「Linux 系统」拆开看:内核和用户态是两件事 日常说「Ubuntu 22.04」这个概念,其实打包了两个完全独立的东西: 组成部分 具体内容 来源 放在...