avatar
文章
319
标签
523
分类
79
关于笔者
主页
博文
  • 分类
  • 标签
  • 归档
生活
友链
留言板
Roger-Lv's space
搜索
关于笔者
主页
博文
  • 分类
  • 标签
  • 归档
生活
友链
留言板

Roger-Lv's space

从 Single Root 到设备直通,理解 IOMMU 与 QEMU、KVM、VFIO
发表于2026-11-18|AI Infra
在上一篇文章中,我们讨论了 SR-IOV、VFIO,以及虚拟机与容器使用设备驱动的区别。沿着设备直通继续往下看,还会遇到三个问题:SR-IOV 中的 Single Root 究竟指什么;设备为何需要 IOMMU;QEMU、KVM、VFIO 是三个独立方案,还是一套方案里的不同部分? 这三个问题分别涉及 PCIe 拓扑、设备访问内存的边界,以及虚拟机的软件分工。把它们放回各自的位置,就能理解一块物理设备如何交给虚拟机使用,以及这件事为什么不能只靠某一个组件完成。 本文以 Linux 宿主机、常规非机密的 x86 QEMU/KVM 虚拟机和 PCIe 设备直通为主要场景。其他体系结构及机密虚拟机可能采用不同的具体机制。 一、Single Root 描述的是怎样的 PCIe 拓扑 先区分 Root Complex 和 Root Port SR-IOV 的全称是 Single Root I/O Virtualization。理解 Single Root,首先要看设备如何接入处理器和系统内存一侧。 名词 在拓扑中的作用 Root Complex,RC PCIe 根端的硬件逻...
从 SR-IOV 和 VFIO 理解云原生 GPU 与网络虚拟化
发表于2026-11-18|AI Infra
在云计算和 Kubernetes 环境中,同一块 GPU 或网卡可能以整卡、PCIe 虚拟功能、硬件分区或软件虚拟接口的形式提供给应用。SR-IOV、VFIO、macvlan、Network Namespace 和 vGPU 经常一起出现,却分别解决不同层次的问题。 理解这些技术,需要沿着三条线分析:硬件向操作系统暴露什么设备,哪个内核和驱动负责控制设备,应用最终被允许使用哪些资源。 这也能解释几个常见现象:为什么直通虚拟机需要自己的驱动,为什么普通容器能够使用节点驱动,以及为什么独占一个 VF 并不意味着独占整张网卡。 本文以 Linux、KVM/QEMU 和普通 Linux 进程型容器为背景。这里的“容器宿主机”指承载容器的 Kubernetes Node;Node 本身也可以是 VM。基于独立虚拟机的沙箱运行时需要按实际内核边界分析。 一、先区分设备虚拟化与设备分配 概念 所在层次 主要解决的问题 SR-IOV PCIe 设备能力 一个物理设备如何暴露多个可独立分配的 PCIe Function VFIO Linux 内核框架 如何向用户态提供受控的设备...
Sky-Scheduler 拓扑感知调度:如何选最少的 RDMA 域,再给 Quota 选节点
发表于2026-11-18|AI Infra
假设一个训练作业需要三个 worker,每个 worker 都占用一台带 RDMA 的 GPU 节点。机房里有一个域还剩两台,另外两个域各剩一台。逐个给 Pod 选节点,三个 worker 可能正好分散到三个域。先看整个作业,只要从两个域各取一部分资源就能放下。 Sky-Scheduler 用的是第二种思路。它把网卡到交换机的信息压成节点的 RDMA 域键,先为 Job 找一个能覆盖总需求的最小域组合,再用 Quota 和节点的谓词、评分及序号完成落位。这里的“最小”指域的数量最少。域键相等是网络局部性的代理指标,调度过程中没有按交换机跳数、链路带宽或实时拥塞计算通信代价。 文中用 Sky-Scheduler 指代所分析的调度器。下文的节点、域名和资源数字都用于算法推演。 从训练通信看调度的三个阶段 当 NCCL 执行 AllReduce 时,各 rank 都参与归约,并各自拿到归约结果。假设六台 GPU 服务器分接到两台 Leaf 交换机,每台 Leaf 下有三台服务器。一个需要三台服务器的 Job 如果选了 A 下的一台和 B 下的两台,跨这两组 Worker 的通信就要经...
推理服务调度的五层责任边界:一次请求从 K8s 走到 vLLM
发表于2026-11-09|AI Infra
一句话结论:所谓「推理调度」,不是一个调度器,而是五层彼此看不见的决策。每一层能做什么,完全由它能看见什么信息决定——把决策放错层,不是效果差一点,而是根本做不成。 K8s 调度器只看得见整数设备:它知道「还剩几张卡」,不知道每张卡的 KV Cache 水位、队列深度、模型是否加载完; Gang 层保证多卡模型「一起上车」,但它读不到 PodGroup 的调度结果; 拓扑层约束落点,而 GPU 互联的约束(TP 整除、MIG 不可跨实例通信)是硬约束,不是偏好; 路由器是唯一能看见「请求」的一层——公共前缀、活动请求数、队列深度只有它知道; 引擎内部再决定请求进哪个 batch,这一层 K8s 完全看不见。 这篇是一次「责任边界」的梳理。主线是一次推理请求穿过五层调度器时,每一层的可见性与决策权;对照组是 Kthena(Volcano 子项目,v1.0)的源码——它的每一层都做了明确取舍,恰好把边界照了出来。 同时,近期有一篇流传较广的公众号文章《从部署 vLLM 到 AI 基础设施:Kubernetes 推理平台生产级落地、容量设计与性能优化》,整体框架(容量、调度、弹...
国产 GPU 适配到底在适配什么:从 CUDA 生态到 vLLM 插件机制的执行链拆解
发表于2026-11-09|AI Infra
在一套兼容的 NVIDIA 环境里,部署一个大模型可能只需要一条命令: 123vllm serve /models/Qwen \ --tensor-parallel-size 1 \ --max-model-len 32768 换到国产 GPU 上,同样的模型、同样的 Python 代码,却可能遇到一长串看似互不相关的问题:PyTorch 认不出设备;权重能加载但执行 Attention 时异常退出;BF16 正常而 FP8 不被支持;单卡能跑但 Tensor Parallel 起不来;能出字但速度远低于预期;短上下文正常而长上下文 OOM;CUDA Graph、投机解码、MoE 这些优化全部不可用。 这些问题指向同一个根源:大模型推理并不直接跑在 GPU 硬件上,而是跑在一整套软硬件协同的执行体系上。 换一张卡,换掉的是整条链路。 一、模型不认识 GPU 以 Transformer 为例,无论 Qwen、DeepSeek 还是 GLM,模型首先描述的是一组数学计算——线性变换 Y=XWY = XWY=XW、注意力 softmax(QKT/d)V\mathrm{sof...
2026 大厂 AI Infra 生产排错测试(卷二)50 题全解:附 12 处题目勘误
发表于2026-11-09|AI Infra
这份试卷流传得挺广。它的定位很明确:不考概念背诵,而是把你直接扔进万卡集群的线上事故现场。题目质量整体在线——很多题干描述的现象(GPU 满载 100% 却无输出、单卡 OOM 引发连锁雪崩、Xid 静默故障)确实是生产里真实会遇到的东西。 但做下来发现一个问题:有 12 处题干前提站不住。有些是命名错误(DualPipe-V2 不存在),有些是职责错配(把节点健康探测的活儿算到调度器头上),还有些是版本演进导致的自然过时——最典型的是题目按 DeepSeek-V2/V3 的 MLA 配置(潜变量 512 + 解耦 RoPE 64)给 DeepSeek-V4 出题,可 V4 已经不用 MLA 了。 所以本文分两部分:先逐题给答案与解析,再把 12 处勘误集中列出。答案都尽量追到一手来源(NVIDIA 官方文档、PyTorch / vLLM 源码、Linux 内核定义、模型官方 config.json),而不是靠印象作答。 一、题目勘误汇总(先看这个) 先集中列出题干本身的问题,避免读者照着错前提记结论。 # 位置 问题 正确表述 1 判断 2 称 NCCL_DEB...
为什么一条 32k 请求能瞬间打爆显存:中间激活张量、常驻水位与 Chunked Prefill
发表于2026-11-09|AI Infra
推理服务最常见的崩溃形态是这样的:系统平稳运行了很久,突然因为一条长文本请求 CUDA OOM,整个实例挂掉。 直觉上会去怪权重太大或 KV Cache 爆了。但权重是启动时就固定的,KV Cache 有 PagedAttention 分页管理、增长是缓坡——它们都不解释「瞬间」这两个字。 真正的元凶是第三类显存:中间激活张量。 一、显存的三类「性格」 把推理时的 GPU 显存按行为特征分成三类,很多 OOM 问题会立刻变得清楚: 类型 内容 增长方式 管理手段 常驻水位 模型权重 启动即固定,不随负载变 量化、张量并行 线性累积 KV Cache 随 token 数 O(S)O(S)O(S) 缓坡上涨 PagedAttention 分页、前缀缓存、KV 量化 瞬时峰值 中间激活张量 单步内 O(S)O(S)O(S) 甚至 O(S2)O(S^2)O(S2) 尖峰 Chunked Prefill、FlashAttention 中间激活张量指的是前向计算过程中、每层算子之间临时产生并立即消费的那部分张量。它们既不是常驻显存的权重,也不是需要长期保留的 KV...
runc 补篇之后:rootless 容器、privileged-without-device 与 dind 的 GPU 责任链
发表于2026-11-08|AI Infra
一句话结论:GPU 在容器里的可见性,不是由 --gpus 或 --device 这一层的写法决定的,而是由最外层那一次分配定死的——下游每一层都只能在集合内部重分配,一张也变不出来。 三条推论: rootless 影响的不是 request/limit 生效(那发生在宿主机的 kubelet / device plugin 进程里),而是运行时能不能把设备节点塞进去; privileged 与 device 是两条正交的轴,且 privileged 的默认行为是连设备一起给你——「门全开但屋里没东西」必须靠显式 opt-out 才能达成; dind 里 --gpus all 的 all 永远是局部 all——它能重分配外层给它的集合,但一张也变不出来。 这篇是《容器运行时拆解·补篇》的续篇。原篇把 runc create 之后的世界切成四个侧面——权限、记账、I/O、退出;这篇顺着同一条责任链往下走,聚焦读者最常追问的三个场景。 本文路线 全文分四段,可以按需跳读: 段落 章节 回答什么 ① 原理 一 ~ 六 三个时刻怎么切;privileged 与 de...
GPU 虚拟化技术栈全景:从 IOMMU 到 vGPU,再到 Agent 沙盒与具身仿真
发表于2026-11-06|AI Infra
一句话结论:从 IOMMU(硬件地址翻译与 DMA 隔离)→ VFIO(设备直通框架)→ SR-IOV(PCIe 级切分)→ MIG(硅片级硬切分)→ vGPU(软件时间片调度)这条链路,构成了 GPU 虚拟化的完整技术栈。「IOMMU 划边界、VFIO 做移交」这条直通链路,是所有 GPU 沙盒和具身仿真基础设施绕不开的地基。 本文按「技术原理 → 两大落地场景 → 一个真实落地案例 → 决策树」四层展开,并把各技术支持的功能以表格汇总。 所有技术描述核对自 Linux 内核文档、NVIDIA 官方文档、Intel/AMD 官方文档与各项目仓库。核对中发现原稿有二十余处需要更正,其中三处是实质性错误,已在文中以 ⚠️ 标注。 一、技术原理层:从 IOMMU 到 vGPU 1.1 IOMMU:硬件级安全边界 IOMMU 是提供地址翻译与设备隔离的硬件单元:对设备发出的 DMA 做 IOVA → HPA 翻译与访问保护,并提供中断重映射;隔离以 IOMMU group 为粒度。Intel 侧叫 VT-d,AMD 侧叫 AMD-Vi。 Linux VFIO 内核文档原文: ...
容器到底有没有内核?——拆解 Docker、Kata、Firecracker 的内核边界
发表于2026-11-06|AI Infra
一句话结论:Ubuntu 镜像里根本没有内核。 它不是一个「完整的 Linux 系统」,只是一份 rootfs——打包好的用户态二进制和库文件。容器里的进程发起的每一个 syscall 都直接打到宿主机内核上,namespace 只是给进程一个「看起来像独立系统」的视图,不是真的给它装了一个内核。 而 Kata 和 Firecracker 之所以「有自己的内核」,是因为它们在容器外多加了一层 VM,VM 里需要一份 guest kernel 来承载上面的容器——整个链路里只发生了一次虚拟化,不是嵌套。 本文的机制描述与实测数据核对自 Docker Registry 实际镜像内容、Linux 内核文档与 man pages、glibc 与 kmod 源码、Kata Containers 与 Firecracker 官方文档。核对中发现原稿有十余处需要更正,其中一处是流传很广的机制错误,已在文中以 ⚠️ 标注。 一、把「Linux 系统」拆开看:内核和用户态是两件事 日常说「Ubuntu 22.04」这个概念,其实打包了两个完全独立的东西: 组成部分 具体内容 来源 放在...
12…32
avatar
Roger-Lv
Send a flare and light the way.
文章
319
标签
523
分类
79
Follow Me
公告
Welcome!
最新文章
从 Single Root 到设备直通,理解 IOMMU 与 QEMU、KVM、VFIO2026-11-18
从 SR-IOV 和 VFIO 理解云原生 GPU 与网络虚拟化2026-11-18
Sky-Scheduler 拓扑感知调度:如何选最少的 RDMA 域,再给 Quota 选节点2026-11-18
推理服务调度的五层责任边界:一次请求从 K8s 走到 vLLM2026-11-09
国产 GPU 适配到底在适配什么:从 CUDA 生态到 vLLM 插件机制的执行链拆解2026-11-09
分类
  • AI Infra45
  • AIInfra5
  • Agent28
  • Agent 安全2
  • Agent 系统2
  • Agent基础设施2
  • Agent工程1
  • CUDA1
标签
io_uring 源码解析 FutureTask 资源共享 Prompt Injection KVM Iceberg NATS VFIO llm 插件机制 驱动 Kubernetes macvlan SRV6 异步保存 国产GPU FastAPI Longformer LLM LLM Infra OCI 概率论 源码分析 CDI http memory privileged 多集群 langgraph AgentENV 线程 TensorRT 大模型推理 VT-x PageCache 中间件 上下文压缩 调度器 事务
归档
  • 十一月 2026 30
  • 十月 2026 17
  • 九月 2026 9
  • 八月 2026 31
  • 七月 2026 31
  • 五月 2026 6
  • 四月 2026 2
  • 三月 2026 3
网站信息
文章数目 :
319
本站访客数 :
本站总浏览量 :
最后更新时间 :
©2024 - 2026 By Roger-Lv
搜索
数据加载中