从 Single Root 到设备直通,理解 IOMMU 与 QEMU、KVM、VFIO
在上一篇文章中,我们讨论了 SR-IOV、VFIO,以及虚拟机与容器使用设备驱动的区别。沿着设备直通继续往下看,还会遇到三个问题:SR-IOV 中的 Single Root 究竟指什么;设备为何需要 IOMMU;QEMU、KVM、VFIO 是三个独立方案,还是一套方案里的不同部分?
这三个问题分别涉及 PCIe 拓扑、设备访问内存的边界,以及虚拟机的软件分工。把它们放回各自的位置,就能理解一块物理设备如何交给虚拟机使用,以及这件事为什么不能只靠某一个组件完成。
本文以 Linux 宿主机、常规非机密的 x86 QEMU/KVM 虚拟机和 PCIe 设备直通为主要场景。其他体系结构及机密虚拟机可能采用不同的具体机制。
一、Single Root 描述的是怎样的 PCIe 拓扑
先区分 Root Complex 和 Root Port
SR-IOV 的全称是 Single Root I/O Virtualization。理解 Single Root,首先要看设备如何接入处理器和系统内存一侧。
| 名词 | 在拓扑中的作用 |
|---|---|
| Root Complex,RC | PCIe 根端的硬件逻辑,连接处理器、系统内存与 PCIe 子系统 |
| Host Bridge | 在系统与 PCI 层级之间建立连接,承担相应的地址和资源窗口组织 |
| Root Port,RP | Root Complex 面向下游链路的根端口,软件上通常表现为 PCI-to-PCI Bridge |
| PCIe Switch | 在下游扩展多个 PCIe 端口,让多个设备通过上游链路接入 |
| Endpoint | 网卡、GPU、NVMe 等终端设备所实现的 PCIe 功能 |
Root Complex 可以包含多个 Root Port,也可以包含 Root Complex Integrated Endpoint,即集成在根复合体内部的端点。因此,Root Complex 与 Root Port 不能混用,Root Port 也不是 PCIe Switch 的另一种叫法。1
Single Root 关注设备所在的单根拓扑
准确的理解是:SR-IOV 在单根 PCIe 拓扑内,允许设备通过多个 PCIe Function 向不同系统镜像提供资源。 常见外接设备位于某个 Root Complex 内的一个 Root Port 所引出的分支下。PCI-SIG 对 SR-IOV 的定位也是面向 single-root topologies 的设备虚拟化与共享。2
下面以一张支持 SR-IOV 的网卡为例。实线表示物理拓扑,虚线表示 VF 分配关系。
flowchart TB
subgraph HOST["宿主机物理 PCIe 拓扑"]
CPU["CPU 与系统内存"]
subgraph RC["Root Complex"]
HB["Host Bridge"]
RP0["Root Port 0"]
RP1["Root Port 1"]
HB --> RP0
HB --> RP1
end
CPU --> HB
RP0 --> SW["PCIe Switch"]
RP1 --> NVME["NVMe"]
subgraph NIC["支持 SR-IOV 的网卡"]
PF["PF"]
VF0["VF 0"]
VF1["VF 1"]
end
SW --> NIC
end
VF0 -. 分配 .-> VM0["VM 0"]
VF1 -. 分配 .-> VM1["VM 1"]
PF 是具备完整配置能力的 Physical Function;它可以管理相关的 VF。VF 是 Virtual Function,具有自己的 PCIe 功能身份和可访问的配置、寄存器资源,可以由对应驱动使用。VF 的“虚拟”不代表由 QEMU 纯软件模拟;它来自设备实际提供的硬件虚拟化能力。一张物理卡也可能包含多个 PF,不能将 PF 永远等同于整张卡。3
这里的 Single 不要求整台服务器只有一个 Root Complex、一个 Root Port、一颗 CPU、一个 NUMA 节点或一台虚拟机。它限定的是设备共享所处的拓扑语境。CPU Socket 与 NUMA 描述处理器封装和访问局部性,也不能直接拿它们来给 PCIe 根计数。
有些资料用“一个 Root Complex 下共享设备”概括典型部署,这有助于理解主机视角;但不宜进一步说“Single Root 只能解释成 Root Complex,与 Root Port 无关”。对常见外接设备,具体的 PCIe 分支正是从 Root Port 向下展开的。12
多个虚拟机的虚拟根不等于 Multi Root
QEMU 可以向每个 Guest 呈现独立的虚拟 PCIe 拓扑,包括虚拟根总线和 Root Port。把两个 VF 分别分给两个 VM 后,两个 VM 可以各自看到一套 PCIe 设备树,但 VF 的物理连接并没有因此变成两个物理根。4
| 技术 | 关注的共享范围 |
|---|---|
| SR-IOV | 在单根 PCIe 拓扑内,将设备资源以 PF/VF 等形式供不同系统镜像使用 |
| MR-IOV | 在多个物理根对应的拓扑之间共享设备资源,需要相应的多根设备、交换结构与管理支持 |
PCI-SIG 为 MR-IOV 举的例子,是通过 PCIe 交换结构连接不同服务器刀片,让独立处理单元上的系统镜像共享设备。这说明 MR-IOV 讨论的是物理多根共享;多个 VM、多个 CPU Socket,或者给普通交换机画上两条主机连接,都不能单独证明已经实现 MR-IOV。5
二、IOMMU 解决的是设备如何访问内存
DMA 为什么需要地址转换和保护
设备传输大量数据时,通常通过 DMA,也就是 Direct Memory Access,直接读写系统内存。以网卡接收数据为例,驱动准备接收缓冲区和描述符,网卡把数据写入相应缓冲区,再通知软件处理。
这里的“直接”表示不需要 CPU 对每个字节执行搬运。CPU 和驱动仍然负责准备队列、配置设备、建立映射以及处理完成通知。6
问题在于:设备接收到一个地址后,究竟应该访问哪块真实内存?如果这个地址越界,又由谁阻止它写入其他虚拟机或宿主机的数据?
IOMMU 是设备侧的地址转换与访问保护硬件。 在启用翻译的典型 DMA 路径中,它根据请求对应的设备上下文,将设备使用的 I/O 地址转换为主机物理地址,并检查映射及权限。没有合法映射或权限不匹配的访问会产生故障,而不是被允许随意访问内存。67
CPU MMU 与 IOMMU 处理不同的访问发起者
| 项目 | CPU 的地址转换机制 | IOMMU |
|---|---|---|
| 访问由谁发起 | CPU 执行指令 | 网卡、GPU、NVMe 等设备执行 DMA |
| 典型输入 | CPU 使用的虚拟地址 | 设备使用的 I/O 地址,即 IOVA |
| 主要职责 | 为 CPU 建立地址空间与访问权限;虚拟化时还需处理 Guest 到 Host 的转换 | 为设备建立 DMA 地址空间与访问权限 |
| 与设备直通的关系 | 让 Guest CPU 访问其获分配的内存 | 约束直通设备能访问的 Host 内存 |
IOMMU 并不是让设备请求转交给 CPU MMU,再由 CPU 帮它逐笔拷贝。两者服务于不同的访问路径。CPU 能够使用硬件虚拟化,也不自动证明设备侧的 DMA 地址转换与保护已经配置好。67
三、看懂 GVA GPA HVA HPA 和 IOVA
五种地址分别属于谁
| 缩写 | 全称 | 本文中的含义 |
|---|---|---|
| GVA | Guest Virtual Address | Guest 进程或内核使用的虚拟地址 |
| GPA | Guest Physical Address | Guest 操作系统认为的物理地址 |
| HVA | Host Virtual Address | QEMU 等 Host 进程使用的虚拟地址 |
| HPA | Host Physical Address | 主机实际的物理内存地址 |
| IOVA | I/O Virtual Address | 设备所在 I/O 地址空间中的地址 |
GPA 名称里虽然带 Physical,但它是 Guest 视角的物理地址,不意味着它与 HPA 一致。IOVA 也不是 QEMU 的普通进程指针。68
CPU 和设备可以经不同路径访问同一块内存
对使用 EPT/NPT 的常见 x86 虚拟机,Guest CPU 的逻辑转换关系是 GVA → GPA → HPA:Guest 页表描述第一段,KVM 管理的二阶段转换描述第二段。硬件结合这些信息完成访问,并不是每次读写都让 QEMU 执行一段软件查表流程。8
设备对主机内存执行 DMA 时,典型关系则是 IOVA → 物理 IOMMU → HPA。
flowchart TB
CPU["Guest CPU 发起访问"] --> GVA["GVA"]
GVA -->|Guest 页表| GPA["GPA"]
GPA -->|EPT 或 NPT| RAM["Host RAM 对应的 HPA"]
DEV["直通设备发起 DMA"] --> IOVA["IOVA"]
IOVA --> IOMMU["物理 IOMMU 转换与权限检查"]
IOMMU --> RAM
这张图描述的是 CPU 和设备访问 Host RAM 的路径。它没有试图描述所有设备之间的传输:例如部分 PCIe Peer-to-Peer 请求可以在交换机内部完成路由,不必抵达 Root Port,不能把所有 GPU 与网卡之间的数据流都套进这张图。9
Guest RAM 与 QEMU 地址空间究竟是什么关系
对常规非机密 QEMU/KVM 虚拟机,Guest RAM 通常确实由映射在 QEMU 进程地址空间里的 Host 内存提供后备。QEMU 把某段 GPA 与对应的 HVA 范围登记给 KVM;KVM_SET_USER_MEMORY_REGION 接口中的 guest_phys_addr、memory_size、userspace_addr 正是在表达这种关系。10
例如,QEMU 可以登记这样一段逻辑对应关系:
-
Guest 看到的一段 RAM,从某个 GPA 开始。
-
这段 RAM 的后备,来自 QEMU 地址空间中从某个 HVA 开始的映射。
-
Host 操作系统为该映射管理实际的物理页。
但 内存由 QEMU 的映射提供后备,与 Guest 指令如何执行,是两个问题。启用 KVM 后,Guest 指令在硬件提供的虚拟化执行环境中运行,Guest 内核不会因此变成 QEMU 里的一个普通 Host 用户态函数。810
同样,HVA 用于软件登记和组织内存后备,并不意味着设备 DMA 的数据路径是“IOVA → HVA → HPA”。在这里,IOMMU 最终使用的是通向物理页的映射,而不是先去访问一个 QEMU 进程指针。11
Guest 没有虚拟 IOMMU 也可以进行受保护的直通
需要分别看两件事:Guest 是否看见虚拟 IOMMU,以及 Host 是否用物理 IOMMU 约束设备。
在常见 x86 虚拟机没有暴露 vIOMMU、Guest 使用 direct DMA mapping 的情况下,Guest 驱动提交给设备的 DMA 地址,通常在数值上对应 GPA。Host 可以把这些地址作为 IOVA,映射到该 VM 获分配的物理页。81112
| 设备所属上下文 | 设备提交的 IOVA | 在示例 Guest 中的含义 | 最终映射的 HPA |
|---|---|---|---|
| VM A 的 VF,Domain A | 0x4000 |
Guest A 的 GPA 0x4000 |
0x81004000 |
| VM B 的 VF,Domain B | 0x4000 |
Guest B 的 GPA 0x4000 |
0x92004000 |
表中地址是人为构造的示例。两个设备提交相同的数值并不冲突,因为请求所关联的转换上下文不同;IOVA 不是全主机唯一的地址。11
如果向 Guest 暴露 vIOMMU,Guest 可以管理自己的 I/O 地址空间,逻辑关系可能变为 Guest IOVA → GPA → HPA。实际实现可能采用影子映射或硬件嵌套转换,不能据此断言每次 DMA 必然依次经过两个物理 IOMMU。也不能将前一个示例中的 IOVA 与 GPA 数值相同,当成 IOVA 的通用定义。11
四、IOMMU Group 和 Domain 为什么不能混为一谈
Group 表达设备隔离与所有权边界
IOMMU Group 表示当前平台能提供的设备 DMA 隔离粒度。 如果硬件拓扑或设备能力使几个 Function 无法被可靠地相互隔离,Linux 会将它们归入同一 Group。7
假设一张卡的两个 Function 落在同一 Group 中,就不能仅凭它们拥有不同 BDF,认定可以安全地分别交给两个互不信任的 VM。需要先满足整个 Group 的 DMA 所有权要求。同组设备不一定都要在 Guest 中显示,但不能被当作几个彼此无关的隔离单元任意拆分。
Group 的划分与平台、桥和交换机的隔离能力有关,不能简单按“同一张卡”或“同一个 PCIe 插槽”猜测。使用新的 VFIO 设备 cdev 接口,也不会消除 Group 的约束;同组设备仍然受到统一 DMA owner 的限制。7
Domain 表达设备使用哪个地址空间
IOMMU Domain 是 DMA 地址转换和访问权限的上下文。 它关注设备访问某个 IOVA 时,应该按照哪套映射进行解释。
| 概念 | 主要回答的问题 |
|---|---|
| IOMMU Group | 哪些设备必须作为一个隔离和所有权单元处理 |
| IOMMU Domain | 设备采用哪个 DMA 转换与权限上下文 |
| IOVA | 设备在该 I/O 地址空间中访问哪个地址 |
| IOMMUFD IOAS | 用户态维护哪个逻辑 I/O 地址空间及其映射 |
因此,不存在“一个 Group 必然等于一台 VM、一个 Domain、一张硬件页表”的普遍关系。同一台 VM 可以使用来自多个 Group 的设备;一个逻辑 IOAS 也可能同步到多个底层硬件 Domain 或页表。711
五、QEMU KVM VFIO 既分工又协作
三者分别负责什么
| 组件 | 主要位置 | 主要职责 |
|---|---|---|
| QEMU | Host 用户空间 | 构建虚拟机器,组织内存、vCPU、固件、总线、设备模型与后端,并调用其他接口 |
| KVM | Linux 内核 | 提供 VM、vCPU、内存虚拟化与中断等接口,利用硬件虚拟化运行 Guest |
| VFIO | Linux 内核框架及相关设备驱动,配合用户态使用者 | 提供真实设备区域、中断及 DMA 访问管理机制,用于设备分配和用户态 I/O |
QEMU 是系统模拟器和用户态 VMM,不只是一个虚拟机管理界面。libvirt、virsh 等通常处于更上一层,负责配置与生命周期管理。KVM 也不只是“执行 CPU 指令”,其接口还涉及 Guest 内存布局与中断等功能。1013
VFIO 则是设备访问框架。它与厂商的 GPU、网卡功能驱动职责不同,也不限于虚拟机:用户态程序可以通过 VFIO 使用硬件设备。7
怎样理解它们是否正交
最准确的概括是:职责分离、可以组合、运行时协作。
| 组合 | 可以完成的事情 |
|---|---|
| QEMU + KVM,不使用 VFIO | 运行硬件加速 VM,使用模拟设备、virtio 等 I/O 方式 |
| QEMU + TCG,不使用 KVM | 通过动态翻译运行 Guest CPU,可用于支持的跨架构模拟 |
| KVM + 其他 VMM | 由其他用户态程序构建虚拟机,例如 Cloud Hypervisor |
| VFIO + 用户态应用,不创建 VM | 让用户态程序访问设备,进行用户态 I/O |
| QEMU + KVM + VFIO | 运行硬件加速 VM,同时把真实设备分配给 Guest |
这些组合说明三者并非必须捆绑。QEMU 官方文档分别描述了 TCG、KVM 等执行方式;Cloud Hypervisor 也是一个直接使用 KVM 等接口的 VMM。1314
但组合之后,它们必须协调 Guest 内存映射、设备寄存器区域、中断路由和生命周期。因此,把它们说成“完全正交、彼此没有关系”会遗漏真正让直通工作起来的部分。模块可以分开选择,不表示任意架构、执行后端和设备都能无条件组合。
六、一台带直通设备的虚拟机如何运行起来
QEMU 建立虚拟机器并通过 KVM 运行 vCPU
从概念上看,过程可以分为六步:
-
QEMU 打开
/dev/kvm,通过KVM_CREATE_VM创建内核中的 VM 对象。 -
QEMU 准备 Guest RAM 后备,并通过内存槽接口登记 GPA 与 Host 内存的对应关系。
-
创建和配置 vCPU、中断控制器以及虚拟平台所需的状态。
-
QEMU 的 vCPU 线程调用
KVM_RUN,由 KVM 进入 Guest 执行环境。 -
对需要用户态处理的退出原因,KVM 将控制权交回 QEMU。
-
QEMU 完成相应处理后,继续调用
KVM_RUN。
这是一组概念步骤,不是 QEMU 初始化代码的完整调用顺序。常规 Guest 指令不需要逐条交给 QEMU 解释,发生 VM Exit 也不意味着一定返回用户态;一部分情况可以由 KVM 直接处理后继续执行。10
VFIO 为真实设备建立访问通路
对于典型 PCIe 直通,Host 中的 vfio-pci 等驱动向 QEMU 暴露设备访问接口。QEMU 据此安排 Guest 可见的设备区域、DMA 映射和中断关联,再让 Guest 内的设备驱动使用它。712
下面的图表示各层协作关系。虚线是建立和管理关系,实线表示相应硬件参与 Guest 执行或 DMA。
flowchart TB
Q["QEMU 用户态 VMM"]
subgraph KERNEL["Host Linux 内核"]
K["KVM"]
V["VFIO 设备接口"]
M["IOMMUFD 或传统 DMA 映射接口"]
end
subgraph HW["物理硬件"]
CPU["CPU 虚拟化执行环境"]
DEV["直通 PCIe Function"]
I["物理 IOMMU"]
RAM["Host RAM"]
end
Q -. 创建与运行 vCPU .-> K
Q -. 设备区域与中断 .-> V
Q -. 登记内存映射 .-> M
V -. 绑定与管理 .-> DEV
M -. 配置 DMA 映射 .-> I
V -. 中断事件与路由 .-> K
K -. 配置执行与内存虚拟化 .-> CPU
CPU --> RAM
DEV -->|DMA| I
I --> RAM
图中的 QEMU、VFIO 和 IOMMU 映射接口主要负责建立和维护访问条件。数据流不能简单画成每个数据包都依次经过 QEMU、VFIO、IOMMU,最后才到设备。
管理 MMIO 和 DMA 是三类不同的路径
| 路径 | 谁发起 | 发生的事情 |
|---|---|---|
| 建立与管理 | QEMU、Host 内核 | 登记内存、配置设备区域、DMA 映射和中断路由 |
| CPU 访问设备 | Guest CPU 上运行的驱动 | 访问 Guest 可见的 BAR/MMIO,例如读状态或写 doorbell |
| 设备访问内存 | 真实设备 | 发起 DMA,经物理 IOMMU 的相应转换与检查访问 Host RAM |
BAR 描述 PCIe Function 的地址窗口;其中的 MMIO 区域用于寄存器或设备内存访问。对可直接映射的设备区域,CPU 访问可以避免逐次用户态模拟;配置或特殊区域等访问仍可能需要拦截处理。设备 DMA 则是设备主动发起的另一条路径,不能与 CPU 写设备寄存器混为一谈。715
中断也不必都由 QEMU 用户态线程逐次转发。VFIO 的中断事件机制可以与 KVM 的 irqfd 等机制配合,使中断按已建立的路由注入 Guest。QEMU 的 VFIO 实现中就包含与 KVM 中断接口的协作。1016
IOMMUFD 在哪里
IOMMUFD 是 Linux 的用户态 I/O 地址空间管理接口,通过 /dev/iommu 管理 IOAS、映射和相关硬件页表。它可以与 VFIO 的设备访问接口协作。1112
传统路径使用 VFIO container/group 等接口;较新的路径可以使用 VFIO 设备 cdev 与 IOMMUFD。两者属于软件接口组织方式的演进,不能据此说“VFIO 已被 IOMMUFD 完全替代”,也不能把 IOMMUFD 当成另一块物理 IOMMU。
七、从一条 QEMU 命令对应到各层职责
下面是一条展示参数关系的示例,假设镜像存在、设备已经按平台要求准备好:
1 | qemu-system-x86_64 \ |
| 参数 | 对应的含义 |
|---|---|
qemu-system-x86_64 |
由 QEMU 构建 x86 系统虚拟机 |
-machine q35 |
选择 Guest 的虚拟机器平台,不是选择 Host 的某个物理 Root Complex |
-accel kvm |
使用 KVM 提供硬件辅助执行 |
-cpu host |
使用 Host CPU 模型向 Guest 暴露相应能力 |
-smp 8 |
提供 8 个 vCPU;不自动意味着独占 8 个物理核 |
-m 32G |
配置 Guest 的 RAM 大小 |
-drive ... if=virtio |
为虚拟磁盘选择 virtio 接口,与直通设备可以同时存在 |
-device vfio-pci,host=... |
通过 QEMU 的 VFIO PCI 设备模型呈现指定的 Host PCI Function |
这些参数说明 CPU 执行方式、内存配置和设备后端是可以组合的不同维度。示例用于理解关系;具体设备仍可能要求相应的固件、BAR 空间、中断和复位支持,不能将它当作所有 GPU 或网卡的完整部署配方。1217
还有一个容易混淆的同名项:命令行里的 -device vfio-pci 是 QEMU 的设备模型;lspci -k 显示的 vfio-pci 是 Host Linux 的设备驱动。它们相互配合,但不是同一个组件。712
八、理解隔离能力时还要保留哪些边界
IOMMU 不负责划分 GPU 算力和显存容量。 它约束 DMA 地址与权限;GPU 是否整卡独占、是否划分计算资源、如何调度,属于设备虚拟化与资源管理的其他部分。给设备建立某个 VM 的内存映射,也不自动实现该 VM 内每个进程之间的设备 DMA 隔离。
开启 IOMMU 不等于某个设备已经获得预期的隔离。 还需要看设备绑定、Group、实际 Domain 和映射。尤其不能把 iommu=pt、iommu.passthrough=1 这类默认采用 identity/passthrough DMA Domain 的配置,直接解读成“全系统 IOMMU 已关闭”。这里的 passthrough 描述默认 DMA 地址转换行为;通过 VFIO 分配的设备仍可使用专门的转换上下文。718
IOMMU 地址转换并非完全没有成本。 常见实现通过 IOTLB 缓存转换结果,性能还受映射粒度、缓存命中、映射更新和失效操作影响。不能把每次 DMA 都描述为重新读取完整页表,也不能脱离具体设备和工作负载给出固定百分比的开销。19
如需在宿主机上核对一个具体设备,可以先做以下只读检查。示例 BDF 需要替换为实际 Host 地址;Guest 中看到的 BDF 不必与 Host 相同。
1 | lspci -Dnnk -s 0000:81:00.0 |
第一条查看设备及其当前内核驱动,后两条定位 Group 并列出成员。它们能帮助判断设备归属和隔离边界,却不能单独证明全部 DMA 映射、设备复位以及 Guest 驱动都已配置正确。720
九、用一组问题定位不同层次
遇到直通问题时,可以按下面的顺序明确自己在问什么:
| 需要回答的问题 | 首先对应的概念 |
|---|---|
| 设备位于哪个物理 PCIe 分支,如何向多个使用者提供 Function | Root Complex、Root Port、SR-IOV |
| 哪些设备可以作为独立的 DMA 所有权单元 | IOMMU Group |
| 设备提交的地址允许映射到哪些 Host 物理页 | IOMMU、Domain、IOVA |
| Guest 的 RAM 后备、总线、固件和设备如何组织 | QEMU |
| Guest CPU 如何执行,Guest 内存和中断如何虚拟化 | KVM |
| 用户态 VMM 如何访问和分配真实设备 | VFIO |
| DMA 地址空间通过什么用户态接口进行管理 | 传统 VFIO 接口或 IOMMUFD |
单根拓扑、DMA 隔离和虚拟机执行解决的是不同问题。一台 VM 能正确使用直通设备,依赖这些层次在地址空间、设备所有权和运行时状态上保持一致。沿着这个边界理解各个组件,才不会把“有多个 VM”理解成多个物理根,也不会把“Guest RAM 映射在 QEMU 中”理解成“Guest 指令全部在用户态解释执行”。