从 SR-IOV 和 VFIO 理解云原生 GPU 与网络虚拟化
在云计算和 Kubernetes 环境中,同一块 GPU 或网卡可能以整卡、PCIe 虚拟功能、硬件分区或软件虚拟接口的形式提供给应用。SR-IOV、VFIO、macvlan、Network Namespace 和 vGPU 经常一起出现,却分别解决不同层次的问题。
理解这些技术,需要沿着三条线分析:硬件向操作系统暴露什么设备,哪个内核和驱动负责控制设备,应用最终被允许使用哪些资源。 这也能解释几个常见现象:为什么直通虚拟机需要自己的驱动,为什么普通容器能够使用节点驱动,以及为什么独占一个 VF 并不意味着独占整张网卡。
本文以 Linux、KVM/QEMU 和普通 Linux 进程型容器为背景。这里的“容器宿主机”指承载容器的 Kubernetes Node;Node 本身也可以是 VM。基于独立虚拟机的沙箱运行时需要按实际内核边界分析。
一、先区分设备虚拟化与设备分配
| 概念 | 所在层次 | 主要解决的问题 |
|---|---|---|
| SR-IOV | PCIe 设备能力 | 一个物理设备如何暴露多个可独立分配的 PCIe Function |
| VFIO | Linux 内核框架 | 如何向用户态提供受控的设备访问,用于 VM 直通或用户态 I/O |
| macvlan | Linux 网络设备层 | 如何在父网络接口上创建拥有独立 MAC 的虚拟接口 |
| Network Namespace | Linux 资源隔离 | 哪些网络接口、路由、socket 等资源属于哪个网络环境 |
| Device Plugin | Kubernetes 设备管理 | 如何发现、报告设备资源,并配合 kubelet 将设备提供给容器 |
| MIG 与 vGPU | GPU 资源划分与虚拟化 | GPU 的计算、显存等资源如何提供给不同工作负载 |
SR-IOV 和 VFIO 可以配合使用,也可以分别使用。 一块没有启用 SR-IOV 的物理 GPU 可以通过 VFIO 整体直通;支持 SR-IOV 的网卡 VF 可以由普通内核驱动管理,直接提供给容器,也可以通过 VFIO 分配给 VM。VFIO 名称中的 Virtual Function 不意味着它只能处理 SR-IOV VF。12
PCIe Function 与网络接口的区别
PCIe Function 是 PCI 总线枚举和驱动绑定的对象,通常由包含 PCI domain 的地址标识,例如 0000:65:00.2。Linux 网络接口则是内核网络子系统中的 net_device,例如 ens5f0、eth0 或 net1。
一个由内核网络驱动管理的 VF,可以同时有两种身份:
| 观察层次 | 示例身份 | 用什么查看 |
|---|---|---|
| PCI 子系统 | 0000:65:00.2 |
lspci、PCI sysfs |
| 网络子系统 | enp65s0f0v0,或移入 Pod 后的 net1 |
对应 NetNS 内的 ip link |
这两种身份不能混为一谈。网络接口改名或改变命名空间归属,并不等于 PCIe Function 被重新创建,也不等于其 PCI 驱动绑定发生变化。对于更复杂的多端口设备和 representor,也不能假定所有 PCI Function 与 netdev 永远一一对应。34
二、SR-IOV 在硬件层面提供 PF 和 VF
SR-IOV 全称 Single Root I/O Virtualization。支持该能力的 PCIe 设备可以通过 PF 管理多个 VF:
-
PF,Physical Function:具有较完整配置和管理能力的物理 Function,负责启用、配置和管理关联的 VF。
-
VF,Virtual Function:可独立枚举的虚拟 Function,具有自己的 PCIe 配置和寄存器访问空间,可以绑定相应驱动。
PF 是一个 Function,不应简单等同于整块板卡。一块多端口或多功能网卡可能具有多个 PF。以下以只有一个 PF 的简化设备为例。28
flowchart TB
subgraph NIC["一块支持 SR-IOV 的物理网卡"]
PF["PF 管理功能"]
VF0["VF0"]
VF1["VF1"]
PF -.->|管理| VF0
PF -.->|管理| VF1
end
PF --- PD["节点 PF 驱动"]
VF0 --- KD["节点 VF 功能驱动"]
KD --- NET["Pod 的 VF 网络接口"]
VF1 --- VD["节点 VFIO 驱动"]
VD -.->|设备分配| VM["VM 及 Guest 功能驱动"]
图中两个 VF 分别采用不同使用方式。虚线表示管理或设备分配关系,不表示应用数据必须经过 PF 驱动逐包转发。
VF 通常拥有可独立管理的队列和设备上下文,但仍共享底层物理端口、PCIe 链路及部分芯片资源。假设一个 100 Gb/s 端口创建了四个 VF,不能推导出每个 VF 都额外拥有 100 Gb/s 带宽,也不能推导出硬件一定自动为每个 VF 保留 25 Gb/s。带宽限制和保障要看设备能力与实际配置。
同样,GPU 暴露四个 VF,不代表其计算单元和显存天然平均分成四份。 SR-IOV 定义了设备呈现与访问的基础能力;GPU 资源如何切分,还要看具体 GPU、固件和虚拟化软件。
三、VFIO 直通为什么需要 VM 内的功能驱动
VFIO 负责建立设备访问环境
VFIO 是 Linux 向用户态提供直接设备访问的框架。在使用 IOMMU 的直通模式中,它与虚拟化平台协作,提供设备寄存器区域访问、中断处理接口以及 DMA 地址空间管理。IOMMU 负责设备侧地址转换和访问限制,避免被分配设备任意读写不属于它的系统内存。1
VFIO 并不实现 CUDA,也不负责理解某张网卡完整的收发逻辑。控制设备功能仍然需要对应的功能驱动。QEMU/KVM 使用 VFIO 把设备呈现给 Guest 后,Guest 内的 GPU 或网卡驱动才能初始化设备、管理队列并提交工作。
| 位置 | 整 GPU 直通时的典型组件 | 职责 |
|---|---|---|
| 物理宿主机内核 | vfio-pci 或适用的专用 VFIO 驱动 |
暴露设备访问,配合设备分配和 DMA 隔离 |
| 宿主机用户空间及虚拟化层 | QEMU/KVM | 向 Guest 呈现设备并建立访问环境 |
| VM 内核 | NVIDIA GPU 功能驱动 | 初始化 GPU,管理设备资源和计算任务 |
| VM 用户空间 | CUDA、框架和应用 | 调用 GPU 功能 |
表中描述的是职责关系。建立映射后,部分寄存器访问和 DMA 可以直接进行,不能把直通理解成“每次 GPU 操作或每个数据包,都必须由 QEMU 和 VFIO 逐层复制转发”。
安装驱动与绑定驱动是两件事
判断设备由谁使用,需要区分三个状态:
-
已安装:驱动软件包存在于系统中。
-
已加载:相关内核模块已经进入当前内核。
-
已绑定:某个具体设备 Function 由该驱动接管。
普通 Linux PCI 驱动模型中,同一个 PCI Function 在同一内核里不会同时绑定两个互相独立的 PCI 功能驱动。整 GPU 从宿主机计算模式切换到 VFIO 直通时,典型做法是从 nvidia 解绑,再绑定 vfio-pci。NVIDIA 的直通文档明确描述了这一转换。35
例如,同一服务器可以同时存在以下绑定:
| GPU | 物理宿主机上的绑定 | 使用方 |
|---|---|---|
| GPU0 | vfio-pci |
VM A 的 Guest NVIDIA 驱动 |
| GPU1 | vfio-pci |
VM B 的 Guest NVIDIA 驱动 |
| GPU2 | nvidia |
宿主机应用或普通容器 |
所以,“VFIO 直通后宿主机不装驱动”不够准确。宿主机仍有 VFIO 侧驱动;被直通 GPU 的功能控制由 VM 内的驱动承担。 宿主机也可以保留 NVIDIA 软件包和模块,用于其他 GPU。Guest 中是独立加载的一份驱动实例,并不是把宿主机的模块文件移动进 VM。
同一硬件在 Host 看起来绑定 VFIO、在 Guest 看起来绑定功能驱动,并不违反上述规则:这两个绑定属于不同内核,承担不同职责。
PCIe Function 也不一定是最小安全直通单元
IOMMU Group 表示平台能够与其他设备隔离的一组设备。某些硬件拓扑下,多个 Function 无法彼此可靠隔离,因此不能仅凭 PCI 地址不同,就认定它们可以安全地分配给不同租户。
直通需要检查 IOMMU Group、设备复位能力以及平台支持。传统 VFIO 使用 group 接口;使用 device cdev 和 IOMMUFD 的新接口也仍受 DMA 所有权约束。1
四、共享内核为何意味着可以使用节点内核驱动
普通容器没有自己的内核驱动空间
普通 Linux 容器是一组被 namespace、cgroup 等机制约束的进程。它可以有自己的文件系统和用户态软件,但系统调用进入的是承载它的 Node 内核。VM 则运行独立的 Guest Kernel。6
mlx5_core、mlx5_ib、nvidia 等内核驱动是这份内核中的代码和状态。容器进程获得相应设备访问权限后,就能通过共享内核提供的接口使用它们,不需要在容器里再运行一套内核驱动。
flowchart TB
H["宿主机用户态进程"]
P["Pod 用户态进程"]
subgraph K["同一个 Node Linux 内核"]
HN["Host NetNS 的网络资源"]
PN["Pod NetNS 的网络资源"]
D["共享的网卡驱动实现"]
HN --> D
PN --> D
end
H -->|socket 系统调用| HN
P -->|socket 系统调用| PN
D --> F0["PF 或 VF0"]
D --> F1["VF1"]
这里“共享驱动”指同一内核中的驱动实现可服务多个设备或使用者。驱动仍为不同 Function、队列和进程维护各自的状态,并不代表所有容器混用同一个网络接口或设备上下文。34
Namespace 隔离资源和状态 不复制内核
Network Namespace 隔离网络接口、IP 路由、协议栈状态、socket 端口空间及相关规则。它不仅改变可见名称,还改变这些资源的归属和运行环境;不同 NetNS 依然使用同一套内核实现。7
以 Pod 使用普通 TCP socket 为例,发送逻辑可以概括为:
-
应用对 socket 调用
send()等接口。 -
系统调用进入 Node 内核。
-
内核根据 socket 所属的 NetNS、路由与相关配置选择出口。
-
网络子系统将待发送数据交给出口 netdev 的驱动。
-
驱动组织发送队列,由网卡执行 DMA 和网络发送。
因此 Pod 使用节点驱动并不需要经过一个“宿主机驱动服务”,也不需要先进入宿主机默认 NetNS。进程本来就在共享的内核之上运行。
共享内核只是使用内核驱动的基础,不是设备访问授权。 容器还需要正确的网络接口归属,或设备节点、访问策略和用户态依赖。仅在镜像里安装 CUDA 或 libibverbs,不会自动获得 GPU 或 RDMA 设备。
还要避免把“驱动”一概视为内核模块。GPU 驱动包包含用户态和内核态组件,RDMA 也需要用户态 provider;DPDK PMD 则可以在用户态实现设备数据路径。1115
五、把 VF 网络接口放进 Pod 到底移动了什么
保持驱动绑定并改变 netdev 的命名空间归属
假设一个网卡 VF 的 PCI 地址是 0000:65:00.2,在节点上绑定 mlx5_core,并创建网络接口 enp65s0f0v0。SR-IOV CNI 将这个 netdev 放入 Pod 的 NetNS 后,可能把它改名为 net1。
| 对象 | 分配前 | 分配后 |
|---|---|---|
| PCIe VF | Node PCI 子系统中的 0000:65:00.2 |
仍由同一 Node 内核管理 |
| PCI 驱动绑定 | mlx5_core |
通常保持不变 |
| VF 网络接口 | 默认 NetNS 中的 enp65s0f0v0 |
Pod NetNS 中的 net1 |
| 内核 | Node Linux Kernel | 仍是同一份内核 |
Pod 中看到的是网络接口。它没有获得独立的 PCI 子系统,也没有接管一套新的内核。宿主机默认 NetNS 下的 ip link 不再列出这个接口,并不代表宿主机的 lspci 看不到 VF。78
因此,这个模式不需要为了跨越内核边界而引入 VFIO:VF 已由共享内核的功能驱动管理,CNI 只需把网络资源交给正确的容器网络环境。
Kubernetes 各组件的分工
在典型 Device Plugin、Multus 和 SR-IOV CNI 部署中,分工如下:
| 组件 | 主要职责 |
|---|---|
| PF 驱动及节点配置工具或 Operator | 创建 VF,选择驱动绑定,配置物理设备 |
| SR-IOV Network Device Plugin | 发现、报告设备及健康状态,响应 kubelet 的分配请求 |
| kubelet Device Manager | 在节点上为容器分配具体设备并协调启动 |
| Multus | 根据附加网络配置取得 VF 的 deviceID,调用对应 CNI |
| SR-IOV CNI | 配置已分配的 VF;在内核网络模式下移动 netdev 并设置网络参数 |
| IPAM | 分配 IP 地址,供 CNI 配置接口 |
SR-IOV Device Plugin 和 SR-IOV CNI 都不负责凭空创建 VF;前者也不负责随意 bind/unbind 驱动。设备应事先由节点管理流程准备好。8910
设备分配与网络配置属于两项不同工作。申请一个扩展资源,不会天然得到正确的 IP 和路由;只有附加网络配置,没有相应设备资源,也不构成完整的 VF 分配流程。
VM 直通与容器中的 VFIO 使用
VM 内核和 Host 内核独立,不能用 NetNS 操作把 Host 的 netdev 直接移入 Guest Kernel。对于 VF 直通,需要通过设备分配机制向 Guest 呈现 PCIe VF,由 Guest 驱动使用。
但 VM 网络并不总是直通:使用 virtio-net 时,Guest 运行 virtio 网卡驱动,Host 的网络后端与物理网卡驱动完成另一侧工作。
反过来,容器也可以使用 VFIO。例如某些 DPDK PMD 通过 VFIO 访问设备;这种容器主要使用 VFIO 设备接口,不一定拥有可用于普通 socket 收发的 net1。所以,判断是否需要 VFIO,应看设备访问模型,而不能只看工作负载叫 Pod 还是 VM。18
六、macvlan 与 SR-IOV 的关系
macvlan 在一个父 netdev 上创建多个虚拟网络接口,通常为各接口提供独立 MAC。它使用 Linux 网络机制,不生成新的 PCIe Function。12
例如,父接口是 ens5f0,Pod A 和 Pod B 各有一个 macvlan 子接口。普通 TCP/UDP 发送时,可以按以下逻辑理解:
Pod 应用 → socket → Pod NetNS 的网络处理 → macvlan 接口 → 父接口 → 底层网卡驱动 → 物理网卡。
CNI 配置中的 master 指父网络接口,未必直接是物理 PF 接口,也可能是 bond、VLAN 接口,或保留 netdev 的 VF,取决于实际部署。mode: bridge 是 macvlan 自身的工作模式,不表示必须另建一个 Linux bridge。
| 对比项 | macvlan | SR-IOV VF 的内核网络模式 |
|---|---|---|
| 对 Pod 提供什么 | 软件虚拟 netdev | VF 对应的 netdev |
| 是否新增 PCIe Function | 否 | 是,由 SR-IOV 提供 |
| 设备驱动在哪里 | Node 内核 | Node 内核 |
| 是否必须使用 VFIO | 否 | 否 |
| 资源独占粒度 | 接口身份,不代表独占物理硬件 | 可以独占 VF,仍共享物理网卡部分资源 |
| 是否自动具有 RDMA | 否 | 取决于 VF 的硬件、驱动和配置 |
两种方式通常是不同的网络配置选择,但并非永远互斥。例如,VF 仍由内核驱动管理且具备 netdev 时,可以在条件允许时再创建 macvlan;若 VF 已在物理宿主机绑定 VFIO 并直通 VM,物理宿主机就不能再把该 VF 当作普通 netdev 的 master 使用。
另外,macvlan 子接口默认不能直接与父接口所在宿主机通过该父接口通信,需要额外网络设计;在云环境中,还要确认底层网络是否允许同一连接使用多个 MAC。独立 MAC 不等于独占硬件通路。13
七、RDMA 网络要分开看接口配置与设备访问
macvlan 加共享 RDMA 设备
macvlan 为 Pod 提供网络接口和 MAC/IP;RDMA Shared Device Plugin 则提供对 RDMA 设备的共享访问。它们承担不同职责,NVIDIA Network Operator 的官方部署文档将两者组合为 MacVLAN RDMA Shared 模式。14
Pod 还需要兼容的 RDMA 用户态库、设备相关 provider、设备访问权限和网络配置。共享插件报告的资源单位也不等于相同数量的物理网卡、VF 或硬带宽分区。19
SR-IOV 加支持 RDMA 的 VF
另一种方式是给每个 Pod 分配一个支持 RDMA 的 VF,同时提供 VF 对应的网络与 RDMA 访问能力。
这里需要再区分 Ethernet netdev 与 RDMA 设备对象。仅把以太网接口移入 Pod,不代表 RDMA 命名空间隔离已经完成。在需要 RDMA exclusive namespace 的配置中,可以串联 RDMA CNI,处理关联 RDMA 设备的命名空间归属。16
Kernel bypass 的准确含义
普通 TCP/IP 路径与硬件 RDMA verbs 快路径不同。RDMA 的设备打开、资源创建、内存注册等控制操作仍需要操作系统及内核驱动参与;资源准备完成后,用户态通常可以通过映射的队列和 doorbell 提交工作,RNIC 执行 DMA 与传输,无须每次都进入普通内核网络协议栈。11
flowchart TB
APP["Pod 中的 RDMA 应用"]
LIB["libibverbs 与设备 provider"]
K["uverbs 与 RDMA 内核驱动"]
Q["映射的队列与 doorbell"]
NIC["RDMA 网卡"]
MEM["已注册内存"]
APP --> LIB
LIB -.->|资源创建与内存注册| K
K -.->|建立和管理访问资源| NIC
LIB -->|提交工作| Q
Q --> NIC
NIC <-->|DMA| MEM
图中虚线是控制关系,实线是简化的数据操作关系。使用 macvlan 配置网络,并不意味着每次 RDMA payload 都要经过 macvlan 软件转发层。
这解释了一个看似矛盾的组合:RDMA 可以在数据面绕过常规内核网络协议栈,同时继续依赖节点内核驱动进行控制、资源管理与清理。
DPDK 也不能一概等同于 VFIO。NVIDIA mlx5 PMD 采用 bifurcated driver 模型,保留内核驱动并与用户态 PMD 协作,利用硬件规则将不同流量交给内核或用户态。使用 DPDK 不构成把 ConnectX 从 mlx5_core 解绑的充分理由。1718
八、云上 GPU 独占的判断方法
先确定独占的对象
“独占 GPU”可能指整颗物理 GPU,也可能只是一个 MIG 分区或 vGPU 实例。不同含义对应的资源保障不同。
| 模式 | 分配对象 | 共享与独占的边界 |
|---|---|---|
| 整 GPU PCIe passthrough | 完整物理 GPU | GPU 在 VM 之间独占;同一 VM 内仍可运行多个进程或 Pod |
| SR-IOV GPU VF | 一个 PCIe VF | VF 可独立分配,算力和显存如何分配由具体实现决定 |
| Time-sliced vGPU | vGPU 实例 | 多个 VM 分时使用 GPU 计算资源,显存等按 profile 管理 |
| MIG 硬件分区 | GPU Instance 等资源实例 | 不同 GI 有硬件资源划分;一个 GI 内还可能进一步划分 CI |
| MIG-backed vGPU | 建立在 MIG 上的 vGPU | 需检查 profile 及分区内是否继续共享 |
| 普通 GPU Pod | 插件分配的 GPU 或共享资源 | 取决于 Device Plugin、MIG、time-slicing 等配置 |
整 GPU passthrough 的设备不在多个 VM 之间共享;MIG 则划分物理 GPU 内部资源。MIG 的 GI 与 CI 也不是同一粒度:同一 GI 内的 CI 可以分割计算资源,但共享父 GI 的显存及部分引擎。2021
受支持的平台还存在 MIG-backed time-sliced vGPU,因此不能只看到“MIG-backed”就断定 VM 独占一个完整 GI。20
对于 Kubernetes,nvidia.com/gpu: 1 的实际含义也要结合插件配置判断。启用 time-slicing 后,它可能表示共享 GPU 的一个可分配单位;这些单位没有 MIG 那样的独立硬件显存和故障隔离,也不保证请求两个单位就获得两倍计算能力。22
驱动版本影响沿着实际控制链传播
| 部署方式 | GPU 功能驱动的位置 | 主要兼容关系 |
|---|---|---|
| 裸金属上的普通 GPU 容器 | Kubernetes Node 内核 | 容器用户态 CUDA 软件与节点驱动兼容 |
| 整 GPU 直通 VM | Guest Kernel | Guest 驱动支持 GPU、Guest OS 及应用栈 |
| NVIDIA vGPU VM | Host vGPU Manager 与 Guest 驱动协作 | 两侧版本必须处于官方支持的兼容组合 |
整卡直通时,不存在“物理 Host 安装的 NVIDIA 计算驱动必须与 Guest 驱动同版”的普遍要求,因为它不负责控制这张被直通 GPU 的计算功能。不过平台固件、虚拟化组件和设备支持仍会影响可用性。5
vGPU 不同:Host 管理组件持续参与共享 GPU 的运行,因此 Host vGPU Manager 与 Guest 驱动需要兼容。兼容不等于永远完全同版本,应查看对应版本和虚拟化平台的发布说明。不同 GPU 与平台还可能采用 mdev 或厂商专用 VFIO 接口,不能照搬普通网卡 VF 的配置流程。2324
CUDA Toolkit 与 GPU 驱动不是同一层
CUDA Toolkit 提供编译器、CUDA Runtime 和相关库;NVIDIA 驱动包则包含 libcuda.so 等用户态驱动组件以及内核态组件。容器可以携带不同版本的 CUDA 应用依赖,但实际使用的节点驱动仍需满足兼容条件。1525
NVIDIA Container Toolkit 负责将所需设备和驱动支持接入容器。它不为每个 Pod 启动一份独立内核。因此,修改镜像中的 CUDA Toolkit,不会同时替换 Node 内核中的 NVIDIA 驱动。26
对 GPU 故障进行定位时,应分别检查“应用依赖”“用户态驱动组件”“当前内核驱动”“设备绑定与分配”,不要把所有版本问题都归结为容器镜像。
九、把这些技术放进同一个云上部署
考虑一种云 GPU 节点的架构:物理服务器将整张 GPU 和网卡上的一个 SR-IOV VF 直通给 VM,VM 作为 Kubernetes Node,再运行训练 Pod。
flowchart TB
subgraph PH["物理服务器"]
GPU["整张 GPU"]
VF["RDMA 网卡 VF"]
ASSIGN["物理 Host 的 VFIO 与虚拟化平台"]
GPU --- ASSIGN
VF --- ASSIGN
subgraph VM["VM 同时是 Kubernetes Node"]
subgraph GK["Guest Linux 内核"]
GD["NVIDIA 功能驱动"]
ND["网卡与 RDMA 功能驱动"]
end
POD["训练 Pod 用户态"]
POD -->|CUDA 与设备接口| GD
POD -.->|网络与 RDMA 驱动接口| ND
end
ASSIGN -.->|向 Guest 分配 GPU| GD
ASSIGN -.->|向 Guest 分配 VF| ND
end
这是设备归属示意,虚线不是逐包转发路径。RDMA 数据快路径仍可直接操作已映射的队列与 doorbell,不必逐次进入 Guest 内核。
在这一部署里:
-
相对物理服务器,VM 使用的是通过 VFIO 分配的设备。
-
相对训练 Pod,VM 就是宿主机,Pod 共享的是 VM 的 Guest Kernel。
-
Pod 使用的 NVIDIA 和 RDMA 内核驱动位于 VM 中,而不是物理 Hypervisor Kernel。
-
VM 内仍需配置 Pod 的网络与设备访问,设备直通到 VM 不会自动完成这一层配置。
因此,“VM 内安装驱动”和“Pod 使用宿主机驱动”可以同时成立。它们描述的是同一部署的两个层次。排障时先明确“宿主机”究竟指物理 Hypervisor 还是 Kubernetes Node,才能找对需要检查和升级的驱动。6
十、从运行中的机器验证设备归属
下面的命令用于观察配置。PCI 地址、接口名、命名空间和 Pod 名均为示例,需要替换为实际值。
查看具体 Function 绑定的驱动
1 | lspci -nnk -s 0000:65:00.2 |
优先看 Kernel driver in use,不要把 Kernel modules 的候选模块列表或 lsmod 中存在某模块,当成该设备已绑定它的证明。
| 观察结果 | 可以得出的结论 |
|---|---|
vfio-pci |
当前内核把该 Function 交给 VFIO 访问;单凭这一项不能确认使用者一定是 VM |
mlx5_core |
该 Function 由当前内核的 mlx5 功能驱动管理 |
nvidia |
该 GPU Function 由当前内核的 NVIDIA 驱动管理;需进一步区分本机计算与 vGPU 管理 |
查看 PF 与 VF 的关系
1 | # 在 PF 上查看支持数量与当前启用数量 |
相关 sysfs 项是否存在,取决于当前 Function 和暴露的能力。GPU 的 VF 创建还可能需要厂商管理流程,不能仅凭网卡配置经验修改它。223
查看网络接口所在的命名空间
1 | # 当前节点默认网络命名空间 |
ethtool -i net1 应在能看到 net1 的网络命名空间执行。容器镜像也需要包含相应工具。若节点 lspci 仍看到 VF,而节点默认 ip link 不再看到对应接口,应继续检查 Pod NetNS,而不是直接判断设备丢失。
分别检查 RDMA 与 IOMMU
1 | # RDMA 设备与网络接口映射 |
ip link、rdma link 和 lspci 观察的是不同对象层次。接口存在、RDMA 设备可见、PCI 驱动已绑定,也都不单独证明应用已经具备完整、正确的设备使用条件。
十一、关键概念对照
| 容易混淆的说法 | 准确的理解 |
|---|---|
| VFIO 会把设备切成多份 | VFIO 提供设备访问;切分由 SR-IOV、MIG 或具体虚拟化方案实现 |
| VFIO 只能处理 VF | 也可以处理普通物理 PCI Function,且不限于 VM 场景 |
| 直通后 Host 不需要驱动 | Host 使用 VFIO 侧驱动,Guest 使用功能驱动 |
| SR-IOV 就是每个租户独占整卡 | 通常是独占 VF,仍共享底层物理资源 |
| VF 放进 Pod 就是 PCI 设备直通 | 内核网络模式通常移动的是 VF 对应的 netdev |
| 同一个内核就能使用所有设备 | 还需要设备授权、命名空间配置和用户态依赖 |
| Kernel bypass 等于不需要内核驱动 | 快路径可以绕过常规协议栈,控制和资源管理仍可依赖内核 |
| DPDK 都要绑定 vfio-pci | 取决于 PMD;mlx5 bifurcated 模型保留内核驱动 |
| 看到独立 MAC 就有独立硬件 | macvlan 也能提供独立 MAC,并不创建 PCIe VF |
| GPU 资源名就能证明独占整卡 | 必须继续检查插件共享配置、profile 和底层分配方式 |
面对一个具体云上工作负载,可以依次确认:分配对象是整设备、VF 还是软件接口;控制设备的是哪一层内核;驱动如何绑定;工作负载通过什么接口访问;最终独占和共享的资源分别是什么。 这五个问题能把 SR-IOV、VFIO、容器网络与 GPU 虚拟化放回各自正确的层次。