两个虚拟机之间有多条业务流,到了物理交换机眼里,它们可能都来自同一个 VTEP、去往同一个 VTEP。如果交换机只根据这对外层 IP 选路,即使机房里铺了两条等价路径,这批流量也可能全走同一条。VXLAN 用一个很小的字段把部分内层流量差异带到外层,这个字段就是 UDP 源端口。

VXLAN 的外层 IP 负责把报文送到远端 VTEP。外层 UDP 目的端口让接收端找到对应的隧道处理入口,源端口为底层网络的哈希提供输入。进入 VXLAN 处理逻辑以后,VNI 才用于确定报文所属的 Overlay 网络。上一篇从整体上梳理了这些组件在 VPC 中的分工。 VPC 虚拟网络架构与数据面实现

1. 沿着一帧报文看封装

假设 VM A(10.42.0.11)和 VM B(10.42.0.22)位于同一个二层虚拟网络,VNI 为 100。它们分别接入 VTEP A(192.0.2.11)和 VTEP B(192.0.2.22)。示例中,A 侧 VTEP 已经知道 B 的内层目的 MAC 对应远端 VTEP B。这条映射可以通过学习、静态配置或 EVPN 控制面获得。 RFC 7348 §4.1 · Linux VXLAN 文档 · RFC 8365

A 上的一条 TCP 连接可以产生下面这样的报文。示例省略可选字段和链路层 FCS,外层 UDP 源端口取 53001。

1
2
3
4
5
6
7
8
外层以太网头  本跳发送接口 MAC → 本跳下一跳 MAC
外层 IPv4 头 192.0.2.11 → 192.0.2.22,Protocol=17
外层 UDP 头 53001 → 4789
VXLAN 头 I=1,VNI=100
内层以太网头 VM A MAC → VM B MAC
内层 IPv4 头 10.42.0.11 → 10.42.0.22
内层 TCP 头 42001 → 443
内层负载 业务数据
位置 字段 谁用它、用来做什么
外层 Ethernet 本跳源和目的 MAC 当前链路转发。经三层转发后,发送到下一条以太网链路的 MAC 头会重建
外层 IP 源和目的 VTEP IP Underlay 按目的 IP 路由。源和目的 IP 也可能参与哈希
外层 UDP 源端口、目的端口、长度、校验和 远端用目的端口定位 UDP 接收入口。可解析四层的中间设备可用端口做哈希
VXLAN Flags、24 位 VNI VTEP 验证隧道头并识别虚拟网络。经典 VXLAN 的头部为 8 字节
内层 Ethernet 及其负载 原始 MAC、EtherType、业务报文 远端解封装后,对内层帧应用虚拟网络的转发逻辑

外层 IP 地址描述的是 VTEP,内层 IP 地址描述的是虚拟机。两者属于各自的转发上下文。示例展开了内层 TCP。如果原始帧装的是 ARP,内层就没有 IP 和 TCP 头。VXLAN 承载的是不含原始 FCS 的内层以太网帧。 RFC 7348 §5

2. UDP 目的端口和 VNI 各管一层分发

VTEP B 收到外层报文时,先识别 IP 载荷是什么,再找到处理这个 UDP 数据报的入口。IPv4 的 Protocol=17 表示 UDP。IPv6 通过 Next Header 链识别 UDP,链上也可能先出现扩展头。随后,接收端根据目的端口及本地绑定等条件查找 UDP 接收入口。如果该入口配置给了 VXLAN,才进入 VXLAN 的头部校验和解封装。 RFC 768 · RFC 8200 §4 · Linux v6.12 VXLAN 实现

4789 是 IANA 为经典 VXLAN 注册的 UDP 目的端口。 接收端仍需配置对应的套接字或隧道接收逻辑,并校验收到的内容。早期 Linux 选用了 8472,Linux v6.12 内核 VXLAN 驱动仍以它为兼容默认值。部署工具可以显式配置端口,因此互通与排障要以两端实际使用的 dstport 为准。 IANA 端口登记 · Linux 内核 VXLAN 文档 · Linux v6.12 默认端口

同一个 VXLAN 接收端口可以承载多个 VNI。比如 VNI 100 和 200 都可使用 4789,解封装后再映射到各自的二层网络。24 位字段提供 2^24 个编码值,具体产品可分配的范围取决于部署。VNI 用来区分逻辑网络,报文来源的信任与访问权限由另外的策略约束。 RFC 7348 §5 · RFC 7348 §7

IP 本身也能直接承载隧道,GRE 就使用 IP 协议号 47。VXLAN 选择 UDP 后,可以复用现有的端口分发入口,通过端口区分不同的 UDP 隧道协议,并给 Underlay 一个常见的四层字段来表达流量差异。例如 Geneve 注册的是 UDP 6081。 RFC 8926 · RFC 2784 §4 · RFC 7348 §5

3. UDP 源端口怎样为 ECMP 提供流量区分度

ECMP 从到达同一目的地的多个等价下一跳中选择一个。常见实现对报文字段做哈希,把结果映射到某个下一跳或哈希桶。在路由集合和哈希配置稳定的前提下,同一组输入通常保持在同一路径上,从而减少乱序。下面假设 Leaf A 通过 Spine 1 和 Spine 2 到达 Leaf B,两条路都在同一个 ECMP 组中。 RFC 6438 §1

对于同一对 VTEP,从 A 到 B 的大量内层连接会共享外层源 IP、目的 IP、协议号和 UDP 目的端口。如果这几项就是交换机的全部哈希输入,这批流量会映射到同一个下一跳,即使里面有许多不同的虚拟机连接。把内层流量的差异编码到外层 UDP 源端口,就能给支持外层四层哈希的交换机增加可区分的输入。

RFC 7348 建议封装端按内层报文字段计算哈希,再选择 UDP 源端口。它以内层以太网头为例,并推荐将结果映射到 49152–65535。这里的范围是建议,具体提取哪些字段和怎样映射由实现决定。例如 Linux v6.12 的 VXLAN 发送路径调用 udp_flow_src_port(),优先利用可取得的报文流哈希,必要时回退到以太网字段。可以用 srcport MIN MAX 设置设备的源端口范围。未指定有效范围时,该内核辅助函数会取网络命名空间的本地端口范围。 RFC 7348 §5 · Linux v6.12 发送路径 · Linux v6.12 端口选择 · iproute2 的 VXLAN 参数

固定目的端口可以让所有流量进入同一个接收入口,封装端用源端口表达流与流之间的差异。同一方向的同一流在哈希输入稳定时通常保持相同的源端口。每包重选端口会增加分流粒度,也可能使同一业务流跨路径乱序。这里的源端口来自封装端的流映射,53001 无需对应一个为该内层流单独监听的 UDP 服务。反向流量由另一端独立封装,并发往对端的 VXLAN 目的端口。 RFC 7348 §5 · RFC 6438 §1

3.1 端口不同,路径仍可能相同

假设四条内层流都经过 A 到 B,交换机支持用外层 UDP 源端口参与哈希。以下端口、速率和下一跳都是说明机制的假设值。

内层流 外层 UDP 源端口 示例下一跳 示例流量
A 53001 Spine 1 80 Gbit/s
B 53542 Spine 1 2 Gbit/s
C 56510 Spine 2 3 Gbit/s
D 57902 Spine 2 2 Gbit/s

两条路径各分到两条流,速率却分别是 82 和 5 Gbit/s。源端口不同只增加了可供哈希使用的输入。不同输入可能得到相同哈希,也可能落到同一个下一跳。按流选路时,一条占主导的重流通常仍留在一条路径上。增加并发流数可以扩大分布样本,单连接压测主要反映一条流走到的路径。 RFC 6438 §1

还有一个前提是交换机确实使用这个字段。常见外层五元组包含源 IP、目的 IP、传输层协议、源端口和目的端口,不同设备实际启用的字段可以不同。只用外层三层字段的设备看不到这项端口差异。有些设备可以对隧道内层字段做哈希,IPv6 的 Flow Label 也是隧道分流的一种输入。出现链路变化时,哈希到下一跳的映射也可能变化。 RFC 6438 §1.1 · NVIDIA Cumulus Linux ECMP 文档

4. UDP 保留报文边界,可靠性由内层业务承担

外层 UDP 以数据报为单位承载 VXLAN,正常发送时每个隧道数据报封装一个内层以太网帧。UDP 无需先建立连接,也没有外层有序交付、重传或拥塞控制。帧在 Underlay 丢失时,VXLAN 没有自己的重传流程。内层如果是 TCP,业务端仍按 TCP 的机制检测丢包并重传。内层 UDP 能否恢复则取决于应用。 RFC 768 · RFC 7348 §5 · RFC 8085 的 UDP 使用指南

如果用外层 TCP 承载多个内层帧,封装器需要在 TCP 字节流中另行定义帧边界。丢失的外层字节可能阻塞后续已到达的字节交付,让共享这条连接的内层流排队等待。VXLAN 选择 UDP 数据报,使不同内层帧能够独立到达和解封装。运营时仍要考虑内层流量的拥塞行为和 Underlay 的容量。 RFC 9293 §2.2 · RFC 8085 的隧道拥塞指南

校验和属于报文检测机制。IPv4 UDP 可以用零值表示省略 UDP 校验和。IPv6 默认要求 UDP 校验和。特定隧道只有满足适用条件、并按端口配置零校验和模式时才有例外。做 IPv6 Underlay 互通测试时,要核对两端以及中间设备的实际行为。 RFC 768 · RFC 8200 §8.1 · RFC 6936

5. 算一遍 MTU,避免小包通、大包丢

这里按外层路径的 IP 层 MTU 算。它需要装下外层 IP、UDP、VXLAN 以及内层以太网头和内层 IP 包。外层以太网头另占链路上的帧长度,不计入这个 IP MTU。下面假设路径 IP MTU 为 1500,无内层 VLAN 标签、IPv4 选项或 IPv6 扩展头。

外层类型 外层 IP 头 UDP + VXLAN 内层 Ethernet 头 内层 IP MTU 上限
IPv4 20 B 16 B 14 B 1450 B
IPv6 40 B 16 B 14 B 1430 B

例如 IPv4 下,内层 IP 包的 1450 字节加上内层以太网头 14、VXLAN 头 8、UDP 头 8、外层 IPv4 头 20,正好是 1500 字节。若内层确实携带一个 802.1Q 标签,标签的 4 字节也占外层 IP 负载。若要保留内层 1500 的 IP MTU,以上两种无额外字段的外层路径至少需要分别支持 1550 和 1570。RFC 7348 要求封装端 VTEP 避免分片,并指出目的 VTEP 可以丢弃途中产生的 VXLAN 分片。排障时要核对整条路径,特别是不同 ECMP 成员是否拥有一致的 MTU。 RFC 7348 §4.3 · RFC 7348 §5 · RFC 8200 §3

6. 在 Linux 上怎样区分封装问题和 ECMP 问题

以下用 vxlan100 和 eth0 代表示例中的 VXLAN 设备与 Underlay 接口。先核对隧道的 VNI、端口、底层出口和远端映射。第一条命令适合先识别本机的实际设备名。

1
2
3
4
ip -d link show type vxlan
ip -d link show dev vxlan100
bridge fdb show dev vxlan100
ip route get 192.0.2.22

再在实际出口抓取去往远端 VTEP 的外层 UDP。这个筛选兼顾 4789 和 8472,实际部署若用了自定义端口就替换过滤条件。后面的命令在 VXLAN 设备上查看内层业务地址。

1
2
3
4
tcpdump -ni eth0 -s 0 -vv -c 40 \
'dst host 192.0.2.22 and (udp dst port 4789 or udp dst port 8472)'

tcpdump -ni vxlan100 -s 0 -c 20 'host 10.42.0.22'

下面是用合成报文离线验证过滤条件后截取的两条记录。每条先打印外层 UDP 和 VNI,再打印解码后的内层 TCP。对照可以看到,外层源端口与内层 TCP 源端口是两个独立字段。

1
2
3
4
5
IP 192.0.2.11.53001 > 192.0.2.22.4789: VXLAN, flags [I] (0x08), vni 100
IP 10.42.0.11.42001 > 10.42.0.22.443: Flags [S], seq 1, win 64240, length 0

IP 192.0.2.11.53542 > 192.0.2.22.4789: VXLAN, flags [I] (0x08), vni 100
IP 10.42.0.11.42002 > 10.42.0.22.443: Flags [S], seq 1, win 64240, length 0

按抓包位置依次验证四件事。

  1. 发送侧有没有封装。 内层有业务包而 Underlay 没看到对应外层报文时,先检查设备、FDB 或控制面提供的远端映射,并确认选对了出接口。
  2. 远端有没有接到并解封装。 先对比两端的外层收发,再核对目的端口、VNI 和本地的映射或策略。两端配置看起来一样,还要确认实际发出和接收的报文。
  3. 外层是否具备分流输入。 采集多条内层流,对照外层 UDP 源端口。单条流内端口稳定是预期现象。多条流长期集中在少量源端口时,再核对 VTEP 使用的哈希字段和源端口范围。
  4. 交换机实际选了哪些下一跳。 到承载 ECMP 的设备上查看路由下一跳、有效哈希配置和成员出口计数。ip route get 只展示本机的路由选择。主机抓到多个外层源端口,也只说明它们提供了哈希输入。实际利用率需要从物理网络的下一跳或端口计数判断。 Linux VXLAN 文档 · NVIDIA Cumulus Linux ECMP 文档

一条 VXLAN 报文里,外层目的 IP 找到 VTEP,UDP 目的端口找到接收入口,VNI 找到虚拟网络。追查带宽利用率时,再从 UDP 源端口往下检查交换机的实际哈希字段和路径计数。这样就能把「能否送到」「能否解封装」和「是否有效分散流量」分别验证。