在云计算和 Kubernetes 环境中,同一块 GPU 或网卡可能以整卡、PCIe 虚拟功能、硬件分区或软件虚拟接口的形式提供给应用。SR-IOV、VFIO、macvlan、Network Namespace 和 vGPU 经常一起出现,却分别解决不同层次的问题。

理解这些技术,需要沿着三条线分析:硬件向操作系统暴露什么设备,哪个内核和驱动负责控制设备,应用最终被允许使用哪些资源。 这也能解释几个常见现象:为什么直通虚拟机需要自己的驱动,为什么普通容器能够使用节点驱动,以及为什么独占一个 VF 并不意味着独占整张网卡。

本文以 Linux、KVM/QEMU 和普通 Linux 进程型容器为背景。这里的“容器宿主机”指承载容器的 Kubernetes Node;Node 本身也可以是 VM。基于独立虚拟机的沙箱运行时需要按实际内核边界分析。

一、先区分设备虚拟化与设备分配

概念 所在层次 主要解决的问题
SR-IOV PCIe 设备能力 一个物理设备如何暴露多个可独立分配的 PCIe Function
VFIO Linux 内核框架 如何向用户态提供受控的设备访问,用于 VM 直通或用户态 I/O
macvlan Linux 网络设备层 如何在父网络接口上创建拥有独立 MAC 的虚拟接口
Network Namespace Linux 资源隔离 哪些网络接口、路由、socket 等资源属于哪个网络环境
Device Plugin Kubernetes 设备管理 如何发现、报告设备资源,并配合 kubelet 将设备提供给容器
MIG 与 vGPU GPU 资源划分与虚拟化 GPU 的计算、显存等资源如何提供给不同工作负载

SR-IOV 和 VFIO 可以配合使用,也可以分别使用。 一块没有启用 SR-IOV 的物理 GPU 可以通过 VFIO 整体直通;支持 SR-IOV 的网卡 VF 可以由普通内核驱动管理,直接提供给容器,也可以通过 VFIO 分配给 VM。VFIO 名称中的 Virtual Function 不意味着它只能处理 SR-IOV VF。12

PCIe Function 与网络接口的区别

PCIe Function 是 PCI 总线枚举和驱动绑定的对象,通常由包含 PCI domain 的地址标识,例如 0000:65:00.2。Linux 网络接口则是内核网络子系统中的 net_device,例如 ens5f0、eth0 或 net1。

一个由内核网络驱动管理的 VF,可以同时有两种身份:

观察层次 示例身份 用什么查看
PCI 子系统 0000:65:00.2 lspci、PCI sysfs
网络子系统 enp65s0f0v0,或移入 Pod 后的 net1 对应 NetNS 内的 ip link

这两种身份不能混为一谈。网络接口改名或改变命名空间归属,并不等于 PCIe Function 被重新创建,也不等于其 PCI 驱动绑定发生变化。对于更复杂的多端口设备和 representor,也不能假定所有 PCI Function 与 netdev 永远一一对应。34

二、SR-IOV 在硬件层面提供 PF 和 VF

SR-IOV 全称 Single Root I/O Virtualization。支持该能力的 PCIe 设备可以通过 PF 管理多个 VF:

  • PF,Physical Function:具有较完整配置和管理能力的物理 Function,负责启用、配置和管理关联的 VF。

  • VF,Virtual Function:可独立枚举的虚拟 Function,具有自己的 PCIe 配置和寄存器访问空间,可以绑定相应驱动。

PF 是一个 Function,不应简单等同于整块板卡。一块多端口或多功能网卡可能具有多个 PF。以下以只有一个 PF 的简化设备为例。28

图中两个 VF 分别采用不同使用方式。虚线表示管理或设备分配关系,不表示应用数据必须经过 PF 驱动逐包转发。

VF 通常拥有可独立管理的队列和设备上下文,但仍共享底层物理端口、PCIe 链路及部分芯片资源。假设一个 100 Gb/s 端口创建了四个 VF,不能推导出每个 VF 都额外拥有 100 Gb/s 带宽,也不能推导出硬件一定自动为每个 VF 保留 25 Gb/s。带宽限制和保障要看设备能力与实际配置。

同样,GPU 暴露四个 VF,不代表其计算单元和显存天然平均分成四份。 SR-IOV 定义了设备呈现与访问的基础能力;GPU 资源如何切分,还要看具体 GPU、固件和虚拟化软件。

三、VFIO 直通为什么需要 VM 内的功能驱动

VFIO 负责建立设备访问环境

VFIO 是 Linux 向用户态提供直接设备访问的框架。在使用 IOMMU 的直通模式中,它与虚拟化平台协作,提供设备寄存器区域访问、中断处理接口以及 DMA 地址空间管理。IOMMU 负责设备侧地址转换和访问限制,避免被分配设备任意读写不属于它的系统内存。1

VFIO 并不实现 CUDA,也不负责理解某张网卡完整的收发逻辑。控制设备功能仍然需要对应的功能驱动。QEMU/KVM 使用 VFIO 把设备呈现给 Guest 后,Guest 内的 GPU 或网卡驱动才能初始化设备、管理队列并提交工作。

位置 整 GPU 直通时的典型组件 职责
物理宿主机内核 vfio-pci 或适用的专用 VFIO 驱动 暴露设备访问,配合设备分配和 DMA 隔离
宿主机用户空间及虚拟化层 QEMU/KVM 向 Guest 呈现设备并建立访问环境
VM 内核 NVIDIA GPU 功能驱动 初始化 GPU,管理设备资源和计算任务
VM 用户空间 CUDA、框架和应用 调用 GPU 功能

表中描述的是职责关系。建立映射后,部分寄存器访问和 DMA 可以直接进行,不能把直通理解成“每次 GPU 操作或每个数据包,都必须由 QEMU 和 VFIO 逐层复制转发”。

安装驱动与绑定驱动是两件事

判断设备由谁使用,需要区分三个状态:

  1. 已安装:驱动软件包存在于系统中。

  2. 已加载:相关内核模块已经进入当前内核。

  3. 已绑定:某个具体设备 Function 由该驱动接管。

普通 Linux PCI 驱动模型中,同一个 PCI Function 在同一内核里不会同时绑定两个互相独立的 PCI 功能驱动。整 GPU 从宿主机计算模式切换到 VFIO 直通时,典型做法是从 nvidia 解绑,再绑定 vfio-pci。NVIDIA 的直通文档明确描述了这一转换。35

例如,同一服务器可以同时存在以下绑定:

GPU 物理宿主机上的绑定 使用方
GPU0 vfio-pci VM A 的 Guest NVIDIA 驱动
GPU1 vfio-pci VM B 的 Guest NVIDIA 驱动
GPU2 nvidia 宿主机应用或普通容器

所以,“VFIO 直通后宿主机不装驱动”不够准确。宿主机仍有 VFIO 侧驱动;被直通 GPU 的功能控制由 VM 内的驱动承担。 宿主机也可以保留 NVIDIA 软件包和模块,用于其他 GPU。Guest 中是独立加载的一份驱动实例,并不是把宿主机的模块文件移动进 VM。

同一硬件在 Host 看起来绑定 VFIO、在 Guest 看起来绑定功能驱动,并不违反上述规则:这两个绑定属于不同内核,承担不同职责。

PCIe Function 也不一定是最小安全直通单元

IOMMU Group 表示平台能够与其他设备隔离的一组设备。某些硬件拓扑下,多个 Function 无法彼此可靠隔离,因此不能仅凭 PCI 地址不同,就认定它们可以安全地分配给不同租户。

直通需要检查 IOMMU Group、设备复位能力以及平台支持。传统 VFIO 使用 group 接口;使用 device cdev 和 IOMMUFD 的新接口也仍受 DMA 所有权约束。1

四、共享内核为何意味着可以使用节点内核驱动

普通容器没有自己的内核驱动空间

普通 Linux 容器是一组被 namespace、cgroup 等机制约束的进程。它可以有自己的文件系统和用户态软件,但系统调用进入的是承载它的 Node 内核。VM 则运行独立的 Guest Kernel。6

mlx5_core、mlx5_ib、nvidia 等内核驱动是这份内核中的代码和状态。容器进程获得相应设备访问权限后,就能通过共享内核提供的接口使用它们,不需要在容器里再运行一套内核驱动。

这里“共享驱动”指同一内核中的驱动实现可服务多个设备或使用者。驱动仍为不同 Function、队列和进程维护各自的状态,并不代表所有容器混用同一个网络接口或设备上下文。34

Namespace 隔离资源和状态 不复制内核

Network Namespace 隔离网络接口、IP 路由、协议栈状态、socket 端口空间及相关规则。它不仅改变可见名称,还改变这些资源的归属和运行环境;不同 NetNS 依然使用同一套内核实现。7

以 Pod 使用普通 TCP socket 为例,发送逻辑可以概括为:

  1. 应用对 socket 调用 send() 等接口。

  2. 系统调用进入 Node 内核。

  3. 内核根据 socket 所属的 NetNS、路由与相关配置选择出口。

  4. 网络子系统将待发送数据交给出口 netdev 的驱动。

  5. 驱动组织发送队列,由网卡执行 DMA 和网络发送。

因此 Pod 使用节点驱动并不需要经过一个“宿主机驱动服务”,也不需要先进入宿主机默认 NetNS。进程本来就在共享的内核之上运行。

共享内核只是使用内核驱动的基础,不是设备访问授权。 容器还需要正确的网络接口归属,或设备节点、访问策略和用户态依赖。仅在镜像里安装 CUDA 或 libibverbs,不会自动获得 GPU 或 RDMA 设备。

还要避免把“驱动”一概视为内核模块。GPU 驱动包包含用户态和内核态组件,RDMA 也需要用户态 provider;DPDK PMD 则可以在用户态实现设备数据路径。1115

五、把 VF 网络接口放进 Pod 到底移动了什么

保持驱动绑定并改变 netdev 的命名空间归属

假设一个网卡 VF 的 PCI 地址是 0000:65:00.2,在节点上绑定 mlx5_core,并创建网络接口 enp65s0f0v0。SR-IOV CNI 将这个 netdev 放入 Pod 的 NetNS 后,可能把它改名为 net1。

对象 分配前 分配后
PCIe VF Node PCI 子系统中的 0000:65:00.2 仍由同一 Node 内核管理
PCI 驱动绑定 mlx5_core 通常保持不变
VF 网络接口 默认 NetNS 中的 enp65s0f0v0 Pod NetNS 中的 net1
内核 Node Linux Kernel 仍是同一份内核

Pod 中看到的是网络接口。它没有获得独立的 PCI 子系统,也没有接管一套新的内核。宿主机默认 NetNS 下的 ip link 不再列出这个接口,并不代表宿主机的 lspci 看不到 VF。78

因此,这个模式不需要为了跨越内核边界而引入 VFIO:VF 已由共享内核的功能驱动管理,CNI 只需把网络资源交给正确的容器网络环境。

Kubernetes 各组件的分工

在典型 Device Plugin、Multus 和 SR-IOV CNI 部署中,分工如下:

组件 主要职责
PF 驱动及节点配置工具或 Operator 创建 VF,选择驱动绑定,配置物理设备
SR-IOV Network Device Plugin 发现、报告设备及健康状态,响应 kubelet 的分配请求
kubelet Device Manager 在节点上为容器分配具体设备并协调启动
Multus 根据附加网络配置取得 VF 的 deviceID,调用对应 CNI
SR-IOV CNI 配置已分配的 VF;在内核网络模式下移动 netdev 并设置网络参数
IPAM 分配 IP 地址,供 CNI 配置接口

SR-IOV Device Plugin 和 SR-IOV CNI 都不负责凭空创建 VF;前者也不负责随意 bind/unbind 驱动。设备应事先由节点管理流程准备好。8910

设备分配与网络配置属于两项不同工作。申请一个扩展资源,不会天然得到正确的 IP 和路由;只有附加网络配置,没有相应设备资源,也不构成完整的 VF 分配流程。

VM 直通与容器中的 VFIO 使用

VM 内核和 Host 内核独立,不能用 NetNS 操作把 Host 的 netdev 直接移入 Guest Kernel。对于 VF 直通,需要通过设备分配机制向 Guest 呈现 PCIe VF,由 Guest 驱动使用。

但 VM 网络并不总是直通:使用 virtio-net 时,Guest 运行 virtio 网卡驱动,Host 的网络后端与物理网卡驱动完成另一侧工作。

反过来,容器也可以使用 VFIO。例如某些 DPDK PMD 通过 VFIO 访问设备;这种容器主要使用 VFIO 设备接口,不一定拥有可用于普通 socket 收发的 net1。所以,判断是否需要 VFIO,应看设备访问模型,而不能只看工作负载叫 Pod 还是 VM。18

六、macvlan 与 SR-IOV 的关系

macvlan 在一个父 netdev 上创建多个虚拟网络接口,通常为各接口提供独立 MAC。它使用 Linux 网络机制,不生成新的 PCIe Function。12

例如,父接口是 ens5f0,Pod A 和 Pod B 各有一个 macvlan 子接口。普通 TCP/UDP 发送时,可以按以下逻辑理解:

Pod 应用 → socket → Pod NetNS 的网络处理 → macvlan 接口 → 父接口 → 底层网卡驱动 → 物理网卡。

CNI 配置中的 master 指父网络接口,未必直接是物理 PF 接口,也可能是 bond、VLAN 接口,或保留 netdev 的 VF,取决于实际部署。mode: bridge 是 macvlan 自身的工作模式,不表示必须另建一个 Linux bridge。

对比项 macvlan SR-IOV VF 的内核网络模式
对 Pod 提供什么 软件虚拟 netdev VF 对应的 netdev
是否新增 PCIe Function 否 是,由 SR-IOV 提供
设备驱动在哪里 Node 内核 Node 内核
是否必须使用 VFIO 否 否
资源独占粒度 接口身份,不代表独占物理硬件 可以独占 VF,仍共享物理网卡部分资源
是否自动具有 RDMA 否 取决于 VF 的硬件、驱动和配置

两种方式通常是不同的网络配置选择,但并非永远互斥。例如,VF 仍由内核驱动管理且具备 netdev 时,可以在条件允许时再创建 macvlan;若 VF 已在物理宿主机绑定 VFIO 并直通 VM,物理宿主机就不能再把该 VF 当作普通 netdev 的 master 使用。

另外,macvlan 子接口默认不能直接与父接口所在宿主机通过该父接口通信,需要额外网络设计;在云环境中,还要确认底层网络是否允许同一连接使用多个 MAC。独立 MAC 不等于独占硬件通路。13

七、RDMA 网络要分开看接口配置与设备访问

macvlan 加共享 RDMA 设备

macvlan 为 Pod 提供网络接口和 MAC/IP;RDMA Shared Device Plugin 则提供对 RDMA 设备的共享访问。它们承担不同职责,NVIDIA Network Operator 的官方部署文档将两者组合为 MacVLAN RDMA Shared 模式。14

Pod 还需要兼容的 RDMA 用户态库、设备相关 provider、设备访问权限和网络配置。共享插件报告的资源单位也不等于相同数量的物理网卡、VF 或硬带宽分区。19

SR-IOV 加支持 RDMA 的 VF

另一种方式是给每个 Pod 分配一个支持 RDMA 的 VF,同时提供 VF 对应的网络与 RDMA 访问能力。

这里需要再区分 Ethernet netdev 与 RDMA 设备对象。仅把以太网接口移入 Pod,不代表 RDMA 命名空间隔离已经完成。在需要 RDMA exclusive namespace 的配置中,可以串联 RDMA CNI,处理关联 RDMA 设备的命名空间归属。16

Kernel bypass 的准确含义

普通 TCP/IP 路径与硬件 RDMA verbs 快路径不同。RDMA 的设备打开、资源创建、内存注册等控制操作仍需要操作系统及内核驱动参与;资源准备完成后,用户态通常可以通过映射的队列和 doorbell 提交工作,RNIC 执行 DMA 与传输,无须每次都进入普通内核网络协议栈。11

图中虚线是控制关系,实线是简化的数据操作关系。使用 macvlan 配置网络,并不意味着每次 RDMA payload 都要经过 macvlan 软件转发层。

这解释了一个看似矛盾的组合:RDMA 可以在数据面绕过常规内核网络协议栈,同时继续依赖节点内核驱动进行控制、资源管理与清理。

DPDK 也不能一概等同于 VFIO。NVIDIA mlx5 PMD 采用 bifurcated driver 模型,保留内核驱动并与用户态 PMD 协作,利用硬件规则将不同流量交给内核或用户态。使用 DPDK 不构成把 ConnectX 从 mlx5_core 解绑的充分理由。1718

八、云上 GPU 独占的判断方法

先确定独占的对象

“独占 GPU”可能指整颗物理 GPU,也可能只是一个 MIG 分区或 vGPU 实例。不同含义对应的资源保障不同。

模式 分配对象 共享与独占的边界
整 GPU PCIe passthrough 完整物理 GPU GPU 在 VM 之间独占;同一 VM 内仍可运行多个进程或 Pod
SR-IOV GPU VF 一个 PCIe VF VF 可独立分配,算力和显存如何分配由具体实现决定
Time-sliced vGPU vGPU 实例 多个 VM 分时使用 GPU 计算资源,显存等按 profile 管理
MIG 硬件分区 GPU Instance 等资源实例 不同 GI 有硬件资源划分;一个 GI 内还可能进一步划分 CI
MIG-backed vGPU 建立在 MIG 上的 vGPU 需检查 profile 及分区内是否继续共享
普通 GPU Pod 插件分配的 GPU 或共享资源 取决于 Device Plugin、MIG、time-slicing 等配置

整 GPU passthrough 的设备不在多个 VM 之间共享;MIG 则划分物理 GPU 内部资源。MIG 的 GI 与 CI 也不是同一粒度:同一 GI 内的 CI 可以分割计算资源,但共享父 GI 的显存及部分引擎。2021

受支持的平台还存在 MIG-backed time-sliced vGPU,因此不能只看到“MIG-backed”就断定 VM 独占一个完整 GI。20

对于 Kubernetes,nvidia.com/gpu: 1 的实际含义也要结合插件配置判断。启用 time-slicing 后,它可能表示共享 GPU 的一个可分配单位;这些单位没有 MIG 那样的独立硬件显存和故障隔离,也不保证请求两个单位就获得两倍计算能力。22

驱动版本影响沿着实际控制链传播

部署方式 GPU 功能驱动的位置 主要兼容关系
裸金属上的普通 GPU 容器 Kubernetes Node 内核 容器用户态 CUDA 软件与节点驱动兼容
整 GPU 直通 VM Guest Kernel Guest 驱动支持 GPU、Guest OS 及应用栈
NVIDIA vGPU VM Host vGPU Manager 与 Guest 驱动协作 两侧版本必须处于官方支持的兼容组合

整卡直通时,不存在“物理 Host 安装的 NVIDIA 计算驱动必须与 Guest 驱动同版”的普遍要求,因为它不负责控制这张被直通 GPU 的计算功能。不过平台固件、虚拟化组件和设备支持仍会影响可用性。5

vGPU 不同:Host 管理组件持续参与共享 GPU 的运行,因此 Host vGPU Manager 与 Guest 驱动需要兼容。兼容不等于永远完全同版本,应查看对应版本和虚拟化平台的发布说明。不同 GPU 与平台还可能采用 mdev 或厂商专用 VFIO 接口,不能照搬普通网卡 VF 的配置流程。2324

CUDA Toolkit 与 GPU 驱动不是同一层

CUDA Toolkit 提供编译器、CUDA Runtime 和相关库;NVIDIA 驱动包则包含 libcuda.so 等用户态驱动组件以及内核态组件。容器可以携带不同版本的 CUDA 应用依赖,但实际使用的节点驱动仍需满足兼容条件。1525

NVIDIA Container Toolkit 负责将所需设备和驱动支持接入容器。它不为每个 Pod 启动一份独立内核。因此,修改镜像中的 CUDA Toolkit,不会同时替换 Node 内核中的 NVIDIA 驱动。26

对 GPU 故障进行定位时,应分别检查“应用依赖”“用户态驱动组件”“当前内核驱动”“设备绑定与分配”,不要把所有版本问题都归结为容器镜像。

九、把这些技术放进同一个云上部署

考虑一种云 GPU 节点的架构:物理服务器将整张 GPU 和网卡上的一个 SR-IOV VF 直通给 VM,VM 作为 Kubernetes Node,再运行训练 Pod。

这是设备归属示意,虚线不是逐包转发路径。RDMA 数据快路径仍可直接操作已映射的队列与 doorbell,不必逐次进入 Guest 内核。

在这一部署里:

  • 相对物理服务器,VM 使用的是通过 VFIO 分配的设备。

  • 相对训练 Pod,VM 就是宿主机,Pod 共享的是 VM 的 Guest Kernel。

  • Pod 使用的 NVIDIA 和 RDMA 内核驱动位于 VM 中,而不是物理 Hypervisor Kernel。

  • VM 内仍需配置 Pod 的网络与设备访问,设备直通到 VM 不会自动完成这一层配置。

因此,“VM 内安装驱动”和“Pod 使用宿主机驱动”可以同时成立。它们描述的是同一部署的两个层次。排障时先明确“宿主机”究竟指物理 Hypervisor 还是 Kubernetes Node,才能找对需要检查和升级的驱动。6

十、从运行中的机器验证设备归属

下面的命令用于观察配置。PCI 地址、接口名、命名空间和 Pod 名均为示例,需要替换为实际值。

查看具体 Function 绑定的驱动

1
2
lspci -nnk -s 0000:65:00.2
readlink -f /sys/bus/pci/devices/0000:65:00.2/driver

优先看 Kernel driver in use,不要把 Kernel modules 的候选模块列表或 lsmod 中存在某模块,当成该设备已绑定它的证明。

观察结果 可以得出的结论
vfio-pci 当前内核把该 Function 交给 VFIO 访问;单凭这一项不能确认使用者一定是 VM
mlx5_core 该 Function 由当前内核的 mlx5 功能驱动管理
nvidia 该 GPU Function 由当前内核的 NVIDIA 驱动管理;需进一步区分本机计算与 vGPU 管理

查看 PF 与 VF 的关系

1
2
3
4
5
6
7
# 在 PF 上查看支持数量与当前启用数量
cat /sys/bus/pci/devices/0000:65:00.0/sriov_totalvfs
cat /sys/bus/pci/devices/0000:65:00.0/sriov_numvfs
ls -l /sys/bus/pci/devices/0000:65:00.0/virtfn*

# 在 VF 上寻找对应 PF
readlink -f /sys/bus/pci/devices/0000:65:00.2/physfn

相关 sysfs 项是否存在,取决于当前 Function 和暴露的能力。GPU 的 VF 创建还可能需要厂商管理流程,不能仅凭网卡配置经验修改它。223

查看网络接口所在的命名空间

1
2
3
4
5
6
7
8
9
# 当前节点默认网络命名空间
ip -d link show

# 进入目标 Pod 的网络环境查看接口
kubectl exec -n demo pod-a -- ip -d link show
kubectl exec -n demo pod-a -- ip addr show net1

# 查看某个可见接口的驱动和总线信息
ethtool -i net1

ethtool -i net1 应在能看到 net1 的网络命名空间执行。容器镜像也需要包含相应工具。若节点 lspci 仍看到 VF,而节点默认 ip link 不再看到对应接口,应继续检查 Pod NetNS,而不是直接判断设备丢失。

分别检查 RDMA 与 IOMMU

1
2
3
4
5
6
7
# RDMA 设备与网络接口映射
rdma link show
ibv_devices

# VF 所属的 IOMMU Group
readlink -f /sys/bus/pci/devices/0000:65:00.2/iommu_group
ls -l /sys/bus/pci/devices/0000:65:00.2/iommu_group/devices

ip link、rdma link 和 lspci 观察的是不同对象层次。接口存在、RDMA 设备可见、PCI 驱动已绑定,也都不单独证明应用已经具备完整、正确的设备使用条件。

十一、关键概念对照

容易混淆的说法 准确的理解
VFIO 会把设备切成多份 VFIO 提供设备访问;切分由 SR-IOV、MIG 或具体虚拟化方案实现
VFIO 只能处理 VF 也可以处理普通物理 PCI Function,且不限于 VM 场景
直通后 Host 不需要驱动 Host 使用 VFIO 侧驱动,Guest 使用功能驱动
SR-IOV 就是每个租户独占整卡 通常是独占 VF,仍共享底层物理资源
VF 放进 Pod 就是 PCI 设备直通 内核网络模式通常移动的是 VF 对应的 netdev
同一个内核就能使用所有设备 还需要设备授权、命名空间配置和用户态依赖
Kernel bypass 等于不需要内核驱动 快路径可以绕过常规协议栈,控制和资源管理仍可依赖内核
DPDK 都要绑定 vfio-pci 取决于 PMD;mlx5 bifurcated 模型保留内核驱动
看到独立 MAC 就有独立硬件 macvlan 也能提供独立 MAC,并不创建 PCIe VF
GPU 资源名就能证明独占整卡 必须继续检查插件共享配置、profile 和底层分配方式

面对一个具体云上工作负载,可以依次确认:分配对象是整设备、VF 还是软件接口;控制设备的是哪一层内核;驱动如何绑定;工作负载通过什么接口访问;最终独占和共享的资源分别是什么。 这五个问题能把 SR-IOV、VFIO、容器网络与 GPU 虚拟化放回各自正确的层次。

参考资料

  1. Linux Kernel — VFIO

  2. Linux Kernel — PCI Express I/O Virtualization Howto

  3. Linux Kernel — Driver Binding

  4. Linux Kernel — Network Devices, the Kernel, and You

  5. NVIDIA — Using GPU Pass-Through

  6. Docker — What is a container

  7. Linux man-pages — network_namespaces

  8. Kubernetes Network Plumbing — SR-IOV CNI

  9. Kubernetes Network Plumbing — SR-IOV Network Device Plugin

  10. Kubernetes — Device Plugins

  11. Linux Kernel — Userspace verbs access

  12. CNI Plugins — macvlan

  13. Docker — Macvlan network driver

  14. NVIDIA Network Operator — MacVLAN with RDMA Shared Device

  15. NVIDIA — Why CUDA Compatibility

  16. Kubernetes Network Plumbing — RDMA CNI

  17. DPDK — NVIDIA MLX5 Ethernet Driver

  18. DPDK — NVIDIA MLX5 Common Driver

  19. NVIDIA Mellanox — RDMA Shared Device Plugin

  20. NVIDIA — Introduction to vGPU Software

  21. NVIDIA — MIG Concepts

  22. NVIDIA GPU Operator — Time-Slicing GPUs in Kubernetes

  23. NVIDIA — Installing and Configuring vGPU Manager

  24. NVIDIA — vGPU for Ubuntu Release Notes

  25. NVIDIA — CUDA Compatibility

  26. NVIDIA Container Toolkit — Architecture Overview