一份面向云计算、容器平台和 AI 基础设施工程师的技术梳理
重点回答:VPC 中的 VRouter、VFW 如何实现?路由是否由 iptables 完成?VXLAN 在哪里发挥作用?控制面如何把网络策略变成真实的数据包转发行为?


1. 核心结论先行

理解 VPC 虚拟网络,首先要把网络功能、协议、实现技术和控制机制分开:

  • VRouter(虚拟路由器) 是一种三层网络功能,核心工作是根据目的 IP 查找路由,决定下一跳和出口。
  • VFW(虚拟防火墙) 是一种安全功能,根据安全策略决定数据包是否允许通过;有状态防火墙还会跟踪连接状态。
  • VXLAN是一种 Overlay 隧道封装协议,主要解决虚拟网络跨物理宿主机承载的问题。它本身不是路由协议,也不是防火墙。
  • iptables / nftables是配置 Linux Netfilter 规则的用户态工具;Netfilter 是 Linux 内核中的包处理框架。它们可用于过滤、NAT、标记等,但不是 Linux 路由功能本身。
  • Linux 路由表 / RPDB / FIB负责路由决策和快速查找。ip route、ip rule 是配置与查看接口。
  • OVS(Open vSwitch) 是虚拟交换机,可通过流表完成二层转发、隧道封装、报文修改、连接跟踪配合等操作,也可参与三层转发。
  • DPDK、eBPF、SmartNIC是构建或加速数据面的技术路径,不是与 VRouter、VFW 同一层级的网络功能。
  • BGP、EVPN主要用于控制面路由或 MAC/IP 信息分发;它们通常不直接逐包转发业务数据。

因此,回答"VRouter 用什么路由,是不是 iptables?"最准确的方式是:

VRouter 的路由核心通常是路由表和 FIB(或等价的硬件/软件转发表);iptables/nftables 主要承担包过滤、NAT、标记等功能。具体云厂商可能用 Linux 内核、OVS、DPDK、eBPF 或 SmartNIC 组合实现数据面。

不同云厂商和不同产品的内部实现并不完全相同。下文讲的是通用架构和常见实现方式,不代表所有厂商都采用同一套组件。


2. 从存储、计算到网络:先建立 VPC 的抽象

VPC(Virtual Private Cloud)是云平台提供给租户的一套逻辑隔离网络。用户通常可以在 VPC 中创建:

  • 子网(Subnet)
  • 虚拟机或弹性网卡(ENI)
  • 路由表(Route Table)
  • 安全组(Security Group)
  • 网络 ACL(Network ACL)
  • NAT Gateway
  • Internet Gateway
  • 对等连接、专线或 VPN 等连接设施

例如:

1
2
3
4
5
6
7
8
9
10
11
VPC-A: 10.0.0.0/16
|
+-- Subnet-A: 10.0.1.0/24
| +-- VM-A: 10.0.1.10
|
+-- Subnet-B: 10.0.2.0/24
| +-- VM-B: 10.0.2.10
|
+-- Route Table
+-- Security Policy
+-- VRouter / Distributed Router

VPC 是逻辑资源模型,不一定对应一台独立的物理路由器。云平台可以把一个逻辑 VPC 分布式地实现到许多物理宿主机、交换机和网卡上。

2.1 控制面与数据面

这是理解云网络架构最重要的切入点。

控制面(Control Plane) 负责管理意图和计算规则:

  • 用户创建 VPC、子网、路由、安全组。
  • 控制器验证配置是否合法。
  • 路由控制器计算路由、下一跳和隧道端点信息。
  • 策略控制器将安全组规则转换成数据面可以执行的规则。
  • 控制器把配置分发到宿主机、虚拟交换机、网关或 SmartNIC。

数据面(Data Plane) 负责处理真实数据包:

  • 接收数据包。
  • 查找转发表。
  • 执行安全策略和 NAT。
  • 必要时进行 VXLAN 封装或解封装。
  • 将数据包送到目标虚拟机、宿主机或外部网络。
1
2
3
4
5
6
7
8
9
10
11
                控制面
用户 API -> VPC Controller -> Route / Policy Controller
|
| 下发配置、流表、路由
v
数据面
VM -> vNIC -> vSwitch / Router / Firewall -> NIC
|
查表、过滤、封装
|
Underlay 网络

正常情况下,数据包不会为了每次转发都向控制器询问"下一跳是什么"。控制面提前把路由和策略安装到数据面,数据面本地查表处理。

2.2 一个逻辑组件不等于一台独立设备

控制台上看到的 VRouter、VFW、NAT Gateway,首先是网络功能或云资源抽象。底层可能是:

  1. 一台或多台专用网关设备;
  2. 宿主机上的 Linux 网络栈;
  3. OVS 等虚拟交换机中的流表;
  4. DPDK 用户态转发进程;
  5. SmartNIC / DPU 上的硬件流水线;
  6. 上述方案的混合部署。

所以不要从产品名称推断物理部署方式。逻辑上的 VRouter 可以是分布式实现的。


3. VRouter:路由到底由什么完成?

3.1 路由的本质

路由器收到一个 IP 数据包后,需要根据目的 IP 地址决定:

  • 应该走哪条路由;
  • 下一跳是谁;
  • 从哪个接口发出;
  • 是否需要经过策略路由、NAT 或其他处理。

例如:

目的网段 下一跳 说明
10.0.1.0/24 本地子网 / 本地接口 到 Subnet-A
10.0.2.0/24 本地子网 / 本地接口 到 Subnet-B
10.1.0.0/16 VPC Peering 到对端 VPC
0.0.0.0/0 NAT / Internet Gateway 默认路由

实际路由表会包含更多属性,例如路由来源、优先级、下一跳类型、状态、作用域和策略信息。

3.2 Linux 中的路由相关概念

Linux 路由路径中有几个容易混淆的概念:

名称 含义
Routing Table 路由表,保存目的前缀到下一跳等信息
RPDB Routing Policy Database,策略路由规则数据库
ip rule 配置策略路由规则,决定查询哪张路由表
FIB Forwarding Information Base,面向转发查找的路由信息结构
ip route 查看和配置路由
ARP / NDP 将下一跳 IPv4 / IPv6 地址解析为二层地址

典型命令:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 查看主路由表
ip route show

# 查看所有路由表
ip route show table all

# 查看策略路由规则
ip rule show

# 查看路由表编号和名称
cat /etc/iproute2/rt_tables

# 查询到某个目的地址时内核会选择什么路由
ip route get 10.0.2.10

例如:

1
ip route add 10.0.2.0/24 via 192.168.1.1 dev eth1

含义是:目的地址属于 10.0.2.0/24 的数据包,下一跳交给 192.168.1.1,从 eth1 发出。

3.3 RPDB、策略路由与多租户

只有一张路由表时,路由选择相对简单。但云网络可能存在:

  • 多个租户使用重叠 CIDR;
  • 不同源地址要走不同出口;
  • 不同业务流量要经过不同网关;
  • VPN、专线和公网出口需要不同路由策略。

Linux 可以使用策略路由:

1
2
3
4
5
6
7
8
# 查看规则
ip rule show

# 将源地址来自 10.10.1.0/24 的流量导向表 100
ip rule add from 10.10.1.0/24 table 100

# 在表 100 中配置默认路由
ip route add default via 192.0.2.1 dev eth1 table 100

路由规则可以根据源地址、目的地址、fwmark、入接口等条件选择路由表。规则按优先级处理,匹配后执行相应动作。

3.4 VRF:让不同租户拥有独立路由域

VRF(Virtual Routing and Forwarding)允许同一台 Linux 主机维护多个相互隔离的路由表/路由域。

例如 Tenant-A 和 Tenant-B 都使用 10.0.0.0/16,如果放在同一张路由表里会产生地址冲突;VRF 可以把它们放进不同路由域。

1
2
3
4
5
6
7
8
9
# 创建 VRF 设备,绑定路由表 10
ip link add vrf-blue type vrf table 10
ip link set vrf-blue up

# 将接口加入 VRF
ip link set eth1 master vrf-blue

# 在 VRF 对应路由表中配置路由
ip route add table 10 10.0.1.0/24 dev eth1

VRF 是 Linux 中实现多路由域的一种方式。云厂商也可能使用网络命名空间、独立转发实例、OVS 流表或硬件虚拟化机制实现租户隔离。

3.5 FIB:真正用于快速转发查找

可以把 Routing Table 理解为路由配置和管理视角,把 FIB 理解为数据面快速查找视角。Linux 内核会维护用于转发的路由结构。

路由查找通常使用最长前缀匹配(Longest Prefix Match, LPM):多个路由都匹配目的 IP 时,选择前缀最长、最具体的路由。

例如:

路由 匹配范围
0.0.0.0/0 所有 IPv4 地址
10.0.0.0/8 10.x.x.x
10.0.2.0/24 10.0.2.x

目的 IP 为 10.0.2.10 时,通常选择 10.0.2.0/24,因为它比 /8 和 /0 更具体。

在高性能数据面中,FIB 不一定是 Linux 内核中的传统路由表结构,也可能被编译为 OVS flow、DPDK LPM 表或 SmartNIC 硬件查找表。概念仍然是"根据报文字段查找下一跳",实现可以不同。

3.6 路由查找之后还需要 ARP / NDP

路由查找通常得到下一跳 IP 和出口接口。要在以太网上发送,还需要知道下一跳的 MAC 地址:

  • IPv4 通常使用 ARP;
  • IPv6 通常使用 NDP(Neighbor Discovery Protocol)。

因此,路由和邻居解析是相关但不同的步骤。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
目的 IP: 10.0.2.10
|
v
FIB 查询
|
+--> 下一跳 IP: 192.168.1.1
+--> 出口接口: eth1
|
v
ARP 查询 192.168.1.1
|
v
得到下一跳 MAC
|
v
构造以太网帧并发送

4. VFW:虚拟防火墙如何工作?

4.1 VFW 的职责

VFW(Virtual Firewall)是云平台提供的虚拟防火墙功能。它通常根据以下字段做决策:

  • 源 IP / 目的 IP;
  • 源端口 / 目的端口;
  • 协议(TCP、UDP、ICMP 等);
  • 入方向 / 出方向;
  • 网络接口、子网、租户、安全组;
  • 连接状态;
  • 有时还包括报文标记、应用或更高层信息。

示例策略:

优先级 源 目的 协议/端口 动作
1 10.0.1.0/24 10.0.2.0/24 TCP/8080 Allow
2 10.0.3.0/24 10.0.2.10 TCP/22 Deny
默认 Any Any Any Deny

云厂商产品中的安全组、网络 ACL、分布式防火墙可能有不同语义。例如安全组常见为有状态规则,网络 ACL 常见为无状态规则,但具体行为应以产品文档为准。

4.2 Linux Netfilter、iptables、nftables

Linux 内核中的 Netfilter 提供数据包处理钩子(hooks)和相关机制。iptables、nftables 是配置规则的工具/接口。

常见 Netfilter 路径包括:

  • PREROUTING:路由决策之前;
  • INPUT:发往本机的数据包;
  • FORWARD:经过本机转发的数据包;
  • OUTPUT:本机产生的数据包;
  • POSTROUTING:路由决策之后、发出之前。

简化示意:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
       收到报文
|
v
PREROUTING
|
v
路由决策
/ \
/ \
发往本机 转发
| |
v v
INPUT FORWARD
| |
v v
本机协议栈 POSTROUTING
|
v
发出

具体 hook 的优先级、Netfilter 子系统、桥接路径和内核版本会影响真实处理顺序;上图是帮助建立概念的简化图。

iptables 示例:

1
2
3
4
5
iptables -A FORWARD \
-s 10.0.1.0/24 \
-d 10.0.2.0/24 \
-p tcp --dport 8080 \
-j ACCEPT

它表示允许匹配条件的数据包经过本机转发路径。若默认策略是 DROP,还需要根据实际规则设计放行和返回流量处理。

nftables 示例:

1
2
3
4
5
6
7
8
9
10
11
nft add table inet vpc

nft 'add chain inet vpc forward {
type filter hook forward priority 0;
policy drop;
}'

nft add rule inet vpc forward \
ip saddr 10.0.1.0/24 \
ip daddr 10.0.2.0/24 \
tcp dport 8080 accept

注意:iptables/nftables 是规则配置入口,真正执行过滤的是内核中的 Netfilter 路径。iptables 也不是路由表。

4.3 Conntrack:有状态防火墙的关键

有状态防火墙不仅判断单个报文,还会跟踪连接状态。Linux 常见实现是 conntrack。

假设 VM-A 主动访问 VM-B:

1
2
VM-A: 10.0.1.10:50000
VM-B: 10.0.2.10:8080

请求方向:

1
10.0.1.10:50000  --->  10.0.2.10:8080

防火墙允许新连接后,conntrack 记录连接元组和状态。返回方向:

1
10.0.2.10:8080  --->  10.0.1.10:50000

返回包可以被识别为已有连接的返回流量,常见状态包括:

  • NEW:新连接或尚未见到双向流量的连接;
  • ESTABLISHED:已建立连接的后续流量;
  • RELATED:与已有连接相关的流量;
  • INVALID:无法关联到有效连接状态的报文。

查看连接跟踪表:

1
conntrack -L

典型 iptables 规则:

1
2
3
4
5
6
7
8
9
10
11
12
# 允许已建立或相关连接的返回流量
iptables -A FORWARD \
-m conntrack --ctstate ESTABLISHED,RELATED \
-j ACCEPT

# 允许指定网段发起 TCP 8080 新连接
iptables -A FORWARD \
-s 10.0.1.0/24 \
-d 10.0.2.0/24 \
-p tcp --dport 8080 \
-m conntrack --ctstate NEW \
-j ACCEPT

真实规则顺序、默认策略和双向策略要结合网络拓扑设计。Conntrack 也有容量、超时、哈希表和性能方面的运维问题。

4.4 NAT 与防火墙不是一回事

NAT(Network Address Translation)修改报文中的 IP 地址或端口,常见有:

  • SNAT:修改源地址;
  • DNAT:修改目的地址;
  • MASQUERADE:常见的动态源地址伪装方式。

例如私网 VM 访问公网时,可能由 NAT Gateway 将私网源 IP 转换为公网出口地址:

1
2
3
4
5
转换前:
10.0.1.10:50000 -> 203.0.113.10:443

转换后:
198.51.100.20:62001 -> 203.0.113.10:443

防火墙回答"是否允许",NAT 回答"地址如何转换"。二者可以由同一套 Netfilter 基础设施实现,但概念上不同。


5. VXLAN:Overlay 网络如何跨物理宿主机?

5.1 Underlay 与 Overlay

Overlay 是建立在底层网络之上的逻辑网络。

  • Underlay:真实物理网络,负责宿主机、交换机、路由器之间的 IP 连通。
  • Overlay:虚拟网络,承载租户 VM、容器等的逻辑地址和隔离域。

例子:

1
2
3
4
5
6
7
Overlay:
VM-A: 10.0.1.10
VM-B: 10.0.2.10

Underlay:
Host-1 VTEP: 192.168.100.1
Host-2 VTEP: 192.168.100.2

Overlay 地址与 Underlay 地址属于不同层次。外层 IP 负责让隧道端点之间可达,内层 IP 是租户业务流量的地址。

5.2 VXLAN 封装结构

VXLAN 使用 UDP 承载,标准目的端口通常为 UDP 4789。一个封装后的报文可以简化表示为:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
+---------------------------------------+
| Outer Ethernet Header |
+---------------------------------------+
| Outer IP Header |
| 192.168.100.1 -> 192.168.100.2 |
+---------------------------------------+
| UDP Header |
| Destination Port: 4789 |
+---------------------------------------+
| VXLAN Header |
| VNI: 10001 |
+---------------------------------------+
| Inner Ethernet Header |
+---------------------------------------+
| Inner IP Header |
| 10.0.1.10 -> 10.0.2.10 |
+---------------------------------------+
| TCP / UDP / Application Data |
+---------------------------------------+

关键概念:

  • VTEP:VXLAN Tunnel Endpoint,负责封装和解封装。
  • VNI:VXLAN Network Identifier,24 bit 的网络标识符,用来区分 VXLAN 网络。
  • Outer IP:Underlay 中 VTEP 的 IP。
  • Inner Ethernet/IP:租户 Overlay 原始报文。

VNI 与 VLAN ID 不同。VLAN ID 通常为 12 bit,VXLAN VNI 为 24 bit,能提供更多逻辑网络标识空间。

5.3 VXLAN 解决什么,不解决什么?

VXLAN 解决:

  • 在三层 Underlay 上承载二层 Overlay 网络;
  • 让不同物理宿主机上的虚拟机处于同一个逻辑二层网络;
  • 通过 VNI 区分不同租户或逻辑网络;
  • 降低对物理网络 VLAN 数量的依赖。

VXLAN 本身不负责:

  • 决定任意目的 IP 的三层下一跳;
  • 定义租户安全策略;
  • 自动提供完整的路由控制平面;
  • 自动解决所有 MTU、拥塞和故障恢复问题。

VXLAN 常与 EVPN 等控制平面结合,学习和分发 MAC/IP 与 VTEP 信息。也可以使用静态配置或其他控制机制。

5.4 VTEP 如何知道封装给谁?

当 Host-1 需要把帧发往 Host-2 时,需要知道目标 MAC/IP 对应的远端 VTEP。这个映射可以由控制面分发,也可能通过数据面学习或静态配置建立。

典型映射关系:

1
2
3
4
5
6
7
8
9
10
Overlay MAC / IP
|
v
远端 VTEP IP
|
v
VXLAN 封装
|
v
Underlay 路由到远端 VTEP

EVPN(Ethernet VPN)常作为 VXLAN 的控制平面,利用 BGP EVPN 路由类型分发 MAC、IP、VTEP 等信息。需要区分:

  • VXLAN:数据面封装;
  • EVPN:常见控制面信息分发机制;
  • Underlay IGP/BGP:保证 VTEP IP 之间可达;
  • VRouter/FIB:完成具体三层转发。

5.5 MTU 问题

VXLAN 在原始帧外增加 Outer Ethernet、Outer IP、UDP 和 VXLAN 头部,因此会产生额外封装开销。

如果 Overlay MTU 与 Underlay MTU 配置不匹配,可能导致:

  • 大包被分片或丢弃;
  • Path MTU Discovery 失效;
  • 某些应用小包正常、大包异常;
  • TCP 性能下降或连接表现异常。

工程上要结合 IPv4/IPv6 外层、物理网络 MTU、隧道实现和是否允许分片,统一规划 Underlay 与 Overlay MTU,不能只凭固定数值假设所有环境一致。


6. VRouter、VFW、VXLAN 如何协作?

构造一个跨宿主机的例子:

1
2
3
4
5
6
7
8
9
10
11
12
VPC-A: 10.0.0.0/16

Host-1 Host-2
+----------------------+ +----------------------+
| VM-A | | VM-B |
| 10.0.1.10 | | 10.0.2.10 |
| | | | ^ |
| vNIC / vSwitch | | vNIC / vSwitch |
| | | | | |
| VRouter / VFW / VTEP |==== VXLAN =====| VTEP / VRouter / VFW |
| 192.168.100.1 | Underlay | 192.168.100.2 |
+----------------------+ +----------------------+

当 VM-A 访问 VM-B 时,逻辑上可能经历:

  1. VM-A 生成目的 IP 为 10.0.2.10 的报文。
  2. Host-1 的虚拟网络数据面接收报文。
  3. 根据目标 IP、租户上下文或虚拟网络配置执行路由查找。
  4. 根据策略执行安全检查;如果是有状态防火墙,可能查询或更新连接跟踪状态。
  5. 确定远端 VTEP,进行 VXLAN 封装。
  6. Underlay 根据外层目的 IP 将封装报文送往 Host-2。
  7. Host-2 的 VTEP 解封装。
  8. Host-2 根据内层目标 MAC/IP 将报文送到 VM-B。

注意:这只是逻辑流程,不是所有产品固定的数据包处理顺序。 有的架构在路由前执行安全策略,有的在路由后执行;有的把路由、ACL、隧道动作合并到一个 flow pipeline;有的在源宿主机执行主要策略,也可能在目的宿主机再次执行检查。

6.1 分布式路由与集中式路由

集中式路由:跨子网或跨网络的流量集中经过某个网关/路由节点。

优点:

  • 路由策略集中;
  • 便于统一做 NAT、审计和流量控制。

缺点:

  • 可能形成流量瓶颈;
  • 额外转发跳数和延迟;
  • 网关需要高可用和扩展设计。

分布式路由:将路由能力下沉到各个宿主机或边缘节点。

优点:

  • 流量可就近转发;
  • 减少集中网关压力;
  • 更容易横向扩展。

缺点:

  • 路由和策略需要分发到更多节点;
  • 状态同步、故障收敛和一致性更复杂;
  • 排障需要理解分布式数据面。

现实系统常采用混合模式:东西向流量尽可能分布式转发,公网出口、NAT、专线等特定流量经过集中式网关或专用服务节点。


7. 数据面实现技术:Linux、OVS、DPDK、eBPF、SmartNIC

这些技术不是同一层级,也不必互斥。它们可以组成一个混合数据面。

7.1 Linux Kernel + Netfilter

典型能力:

  • Linux bridge;
  • VXLAN netdevice;
  • IP routing / FIB;
  • Netfilter;
  • Conntrack;
  • iptables / nftables;
  • TC。

优点:

  • 与 Linux 网络栈集成;
  • 工具成熟,生态完善;
  • 便于运维和排查;
  • 适合大量通用网络场景。

需要关注:

  • 内核数据路径开销;
  • 规则规模与查找性能;
  • Conntrack 容量;
  • 多队列、RSS、NUMA、软中断分布;
  • MTU、GRO/GSO/TSO 等卸载行为。

7.2 Open vSwitch(OVS)

OVS 是面向虚拟化环境的多层虚拟交换机。它常用于连接 VM、容器、物理网卡和隧道端口。

重要概念:

OVS 概念 含义
Bridge 逻辑交换机
Port Bridge 上的端口,可连接 VM、物理 NIC、隧道等
Interface 具体接口
Flow Table 流表,定义匹配条件和动作
Match 匹配字段,如 MAC、IP、端口、VLAN、隧道 ID
Action 动作,如 output、drop、修改字段、封装等
Datapath 实际执行数据包处理的路径

简化示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
VM-A vNIC
|
v
OVS Bridge
|
+--> Flow Table
| |
| +--> match: dst IP / MAC / VNI
| +--> action: output / set field / tunnel
|
v
VXLAN Port
|
v
Physical NIC

OVS 可以使用 OpenFlow 或其他控制接口管理流表。常见部署中,OVS 用户态组件负责控制和流表管理,数据包快速路径可能由内核 datapath 或 DPDK datapath 执行。

OVS 不只是"二层交换机"。通过流表动作、路由信息和连接跟踪配合,它可以参与更复杂的网络功能。

7.3 DPDK

DPDK 是一组用户态高速数据包处理库和驱动框架。典型思路是让应用在用户态轮询网卡队列,减少传统内核网络路径中的开销。

常见机制:

  • Poll Mode Driver(PMD);
  • Hugepage;
  • 多队列;
  • CPU core pinning;
  • NUMA 本地化;
  • 批量收发包;
  • 用户态转发和查表。

优点:

  • 可构建高吞吐、低延迟数据面;
  • 数据路径可高度定制;
  • 适合软件路由器、虚拟交换机、NFV 等场景。

代价:

  • CPU 核心可能需要专门用于轮询;
  • 内存、NUMA、队列和核绑定需要精细调优;
  • 与内核网络栈、运维工具和主机网络的集成更复杂。

7.4 eBPF 与 TC

eBPF 允许在内核中安全地运行受验证的程序。网络场景常见挂载点包括:

  • XDP:较早的接收路径,可用于高效丢弃、重定向和部分处理;
  • TC ingress / egress:流量控制路径,可执行分类、修改和重定向;
  • socket 层相关 hook:在套接字路径处理流量。

eBPF 常用于:

  • ACL;
  • 负载均衡;
  • 可观测性;
  • 网络策略;
  • 转发和重定向;
  • 流量采样。

eBPF 并不自动等于"比内核网络栈快"。性能取决于挂载点、程序复杂度、map 查找、数据路径、硬件和流量模式。

7.5 SmartNIC / DPU

SmartNIC 或 DPU 将部分网络、存储、安全和虚拟化处理能力卸载到网卡侧处理器或硬件流水线。

可能卸载的工作:

  • VXLAN 封装/解封装;
  • ACL / 安全组;
  • NAT;
  • 流表匹配;
  • 虚拟交换;
  • 加密或遥测等功能(依产品而定)。

好处是减少宿主机 CPU 的网络处理负担,并改善隔离和性能。代价是硬件能力、驱动、固件、可编程性和运维复杂度。


8. 路由、安全和隧道并不一定由三个独立进程实现

逻辑上可以把网络功能拆成:

1
2
3
VRouter: 目的地址 -> 下一跳
VFW: 报文是否允许通过
VXLAN: 如何把报文送到远端 VTEP

但真实数据面可能把它们合并成一个 pipeline:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
Ingress
|
v
Parse Packet
|
v
Tenant / VNI Classification
|
v
ACL / Security Policy
|
v
Conntrack
|
v
Route / FIB Lookup
|
v
NAT / Rewrite
|
v
Tunnel Encapsulation
|
v
Egress

这只是一个示意 pipeline。具体系统可能调整顺序、拆分到多个节点,或把部分功能下沉到硬件。

理解这一点很重要:VRouter、VFW 是功能抽象;Linux、OVS、DPDK、eBPF、SmartNIC 是实现载体。


9. BGP、EVPN、VXLAN、FIB 的关系

这几个名词经常一起出现,但职责不同:

技术 主要职责 更接近哪一层
BGP 在路由域之间交换路由信息,也可承载 EVPN 地址族 控制面
EVPN 分发二层/三层 VPN 的 MAC、IP、VTEP 等信息 Overlay 控制面
VXLAN 将内层以太网帧封装到 UDP/IP 中 Overlay 数据面
Underlay IGP/BGP 保证 VTEP IP 之间可达 Underlay 控制面
FIB 根据报文目的地址等信息查找转发结果 数据面
VTEP 执行 VXLAN 封装和解封装 数据面端点

可以记成:

EVPN 告诉设备"远端 MAC/IP 在哪里";VXLAN 负责把帧封装到远端 VTEP;Underlay 把外层 IP 包送过去;接收端解封装后再进行本地转发。


10. 排障时应该看什么?

网络问题不要只盯着 ping。可以按层次定位。

10.1 先确认虚拟机本身

1
2
3
4
ip addr
ip route
ip neigh
ping <同网段目标>

确认:

  • IP、掩码和网关是否正确;
  • 路由是否符合预期;
  • ARP/NDP 是否解析成功;
  • 本机防火墙是否阻断。

10.2 检查 Linux 路由

1
2
3
ip route show
ip rule show
ip route get <destination-ip>

如果使用 VRF:

1
2
ip -d link show type vrf
ip route show table <table-id>

10.3 检查 Netfilter 与 Conntrack

1
2
3
4
iptables -S
iptables -t nat -S
nft list ruleset
conntrack -L

注意系统可能使用 nftables 后端兼容 iptables 命令,排障时应确认实际规则来源和后端。

10.4 检查 VXLAN

1
2
3
ip -d link show type vxlan
ip link show
ip addr show

抓包时分别观察内层与外层:

1
2
3
4
5
# Underlay:看 UDP VXLAN 封装流量
tcpdump -ni <underlay-interface> udp port 4789

# Overlay:在 VXLAN 接口或虚拟接口观察内层流量
tcpdump -ni <vxlan-interface>

检查:

  • 本地和远端 VTEP IP 是否可达;
  • VNI 是否一致;
  • UDP 4789 是否被中间网络允许;
  • MTU 是否足够;
  • 远端 MAC/IP 到 VTEP 的映射是否正确;
  • 是否存在防火墙或 ACL 丢包。

10.5 检查 OVS

常用命令:

1
2
3
4
5
ovs-vsctl show
ovs-ofctl show <bridge>
ovs-ofctl dump-flows <bridge>
ovs-appctl dpif/show
ovs-appctl dpctl/dump-flows

不同 OVS 版本、datapath 和部署方式下,命令输出和可用能力会有所不同。

10.6 逐层抓包

一个实用方法是选择同一条流量,在不同位置同时抓包:

  1. VM 内部 vNIC;
  2. 宿主机虚拟交换机端口;
  3. VXLAN 隧道接口或 Underlay 物理口;
  4. 对端宿主机物理口;
  5. 对端虚拟交换机端口;
  6. 目标 VM。

这样可以定位报文在哪一跳消失,是路由、策略、封装、物理网络还是解封装问题。


11. 常见误区

误区一:VRouter 就是 iptables

不对。路由核心是路由表、策略路由和 FIB。iptables/nftables 主要用于过滤、NAT、标记等。

误区二:VXLAN 就是路由协议

不对。VXLAN 是隧道封装协议。它需要 Underlay IP 网络承载,也通常需要控制面维护远端 VTEP 和 MAC/IP 映射。

误区三:有了 VXLAN 就不需要 VRouter

不对。VXLAN 主要提供 Overlay 二层承载。跨子网通信仍需要三层路由功能,可以由集中式或分布式 VRouter 实现。

误区四:VFW 一定由 iptables 实现

不对。iptables/nftables 是常见实现路径,但也可能由 OVS 流表、DPDK、eBPF、SmartNIC 或专用硬件执行。

误区五:控制面组件参与每一个数据包的转发

通常不对。控制面负责计算和下发,数据面本地查表执行。异常情况下控制面可能参与重编程、故障收敛或慢路径处理。

误区六:BGP/EVPN 就是数据转发

不对。BGP/EVPN 交换和分发控制信息;具体报文转发由 FIB、流表或硬件转发表完成。

误区七:逻辑上的 VRouter 必然是一台虚拟机

不对。它可能分布在宿主机数据面,也可能集中在网关节点,或由硬件卸载实现。


12. 总结:建立一张完整的心智模型

层次 关键问题 典型技术
资源与控制面 用户创建了什么网络意图? VPC Controller、Route Controller、Policy Controller
路由控制 路由信息从哪里来、如何分发? 静态路由、BGP、EVPN
三层转发 目的 IP 应该发往哪里? Routing Table、RPDB、FIB、VRF
安全策略 报文是否允许通过? Security Group、ACL、Netfilter、Conntrack、OVS CT
Overlay 承载 跨宿主机如何承载虚拟网络? VXLAN、VTEP、VNI
虚拟交换 VM、容器、隧道和物理网卡如何连接? Linux Bridge、OVS
高性能数据面 如何提升吞吐、降低延迟和 CPU 开销? DPDK、XDP/eBPF、SmartNIC/DPU
物理网络 外层报文如何在机房网络中传输? NIC、ToR、Spine-Leaf、Underlay IP

最后记住这四句话:

  1. VRouter 看路由表/FIB,决定下一跳。
  2. VFW 看安全策略和连接状态,决定放行还是丢弃。
  3. VXLAN 负责 Overlay 封装,让虚拟网络跨宿主机承载。
  4. 控制面负责计算和下发,数据面负责高速执行。

把这四个概念建立起来,再学习 Linux 网络栈、OVS、EVPN、DPDK 和 eBPF,就能逐步从"理解 VPC 产品概念"深入到"理解云网络数据包究竟如何在物理服务器之间流动"。