VRF 决定报文在哪张三层转发表查下一跳,Cilium Cluster Mesh 同步多集群端点,让本地 Service 可以选中远端 Pod。选中后端后,请求和回包仍要各自走通底层网络。

假设 IDC 和云上各运行一个 Kubernetes 集群。IDC 的客户端能解析 model-api,访问本地后端正常,选中云端 Pod 时却超时。排查时先把四个观察点分开:DNS 返回哪个 VIP、Cilium 选中哪个后端、边界按哪个目的地址和 VRF 转发,以及回包能否按预期返回。下文的站点、服务名和地址都是示例。

1. VRF 决定这次查哪张路由表

同一台设备可以维护多个独立的三层查表上下文。转发报文时,通常先由入三层接口确定它所属的 VRF,再在该 VRF 的转发表中对目的地址做最长前缀匹配。静态路由和 BGP 为路由选择提供信息,转发表则保存实际要使用的下一跳和出口。

在 Linux VRF-lite 中,VRF 设备关联一张路由表,三层接口加入对应设备。l3mdev 规则将相关流量导向该表,本机应用也可以把 socket 绑定到 VRF 设备。查表仍受策略路由规则优先级影响,优先级更高的规则可能先匹配。VRF 可以与 netns 组合使用,分别提供三层查表分离与网络命名空间隔离。二层隔离、ACL 和加密需要另外配置。Linux 内核 VRF 文档

假设 PROD 和 LAB 的地址规划都包含 10.10.0.0/16。同一个目的 10.10.2.8 从不同接口进入设备,可以匹配到不同转发表和下一跳。

流量从哪里进入 查表上下文 命中的目的前缀 选出的下一跳
生产计算 VLAN 的三层接口 PROD VRF 10.10.0.0/16 生产园区路由器
实验 VLAN 的三层接口 LAB VRF 10.10.0.0/16 实验网关

VLAN 划分二层广播域,VRF 划分三层查表范围。生产计算和生产存储可以处在不同 VLAN,但它们的三层接口仍属于同一个 PROD VRF。是否允许两者互访,要看已安装的路由及访问策略。

两个 VRF 都需要访问镜像仓库

可以用 route leaking 给两个 VRF 导入共享镜像仓库所需的前缀,同时核对共享侧到客户端的回程和防火墙规则。导入前后检查实际命中的前缀和下一跳,避免把共享一个服务扩展成两个地址域之间的任意互通。

如果 PROD 和 LAB 都会用 10.10.2.8 作为源地址,仓库侧仅凭源 IP 无法判断回包该送回哪个域。可以在明确的服务边界给两侧使用不同的 SNAT 地址,或用代理终止连接,并在对应边界保存会话和回程路径。在 EVPN/VXLAN 网络里,租户 VRF 绑定的 L3 VNI 用来标识三层转发域。Route Target 则控制哪些路由可以导入、导出某个 VRF。Cisco VRF 与 Route Leaking 文档 · RFC 4364 的 Route Target 规则

2. Cluster Mesh 如何让 A 选到 B 的后端?

K8s-A 和 K8s-B 各有自己的 Kubernetes API 和调度器。假设两个集群的本地 DNS 后缀都为 cluster.local,inference 命名空间内各有一个端口为 80 的 model-api Service。

集群 站点 节点网段 Pod 网段 本地 model-api ClusterIP 示例后端
K8s-A IDC 10.16.16.0/20 10.128.0.0/16 10.240.0.20 10.128.1.25
K8s-B 云 VPC 10.64.16.0/20 10.129.0.0/16 10.240.16.20 10.129.8.31

两边的 Service 采用相同名称、命名空间和 Global Service 注解。示例省略了已由各集群分配的 ClusterIP。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
apiVersion: v1
kind: Service
metadata:
name: model-api
namespace: inference
annotations:
service.cilium.io/global: "true"
spec:
type: ClusterIP
selector:
app: model-api
ports:
- name: http
port: 80
targetPort: 80

默认共享各集群的本地后端。若 B 设置 service.cilium.io/shared: "false",B 停止向其他集群共享自己的本地后端。B 内仍可使用本地后端,也可以使用其他集群向它共享的后端。若要让流量优先落到本地或远端,应单独看 Service affinity 对候选后端的选择策略。Cilium Global Services 文档

跟踪一次 A 到 B 的访问

  1. A 的客户端查询 model-api.inference.svc.cluster.local,本地 DNS 返回 A 的 VIP 10.240.0.20。
  2. Cluster Mesh 将 B 的 Service 和端点状态同步到 A。A 的 Cilium Agent 将符合条件的 B 后端和本地后端一起编入本地数据面。
  3. 这次 A 选中 B 上的 10.129.8.31:80。实际承载报文经 IDC 边界 VRF、WAN 和云 VPC 抵达 B。目的地址的内外层取决于 Cilium 的转发模式。路由、策略和回程都可用时,应用才能收到应答。
1
2
3
4
5
6
7
控制面(虚线,后台状态同步)
B Service / Endpoints - - > B Cluster Mesh 控制面 - - > A Agent 后端表

应用流量(实线,一条连接)
A 客户端 ──> A 的本地 VIP 10.240.0.20:80 ──> A Cilium 选择后端
选中本地 ──> A Pod 10.128.1.25
选中远端 ──> IDC 边界 VRF ──> WAN ──> 云 VPC ──> B Pod 10.129.8.31

以上端点同步指 Cilium 数据面可以使用的远端状态。普通非 Headless Global Service 默认由 Cilium 在内部使用远端端点。若其他控制器需要读取远端端点对应的 Kubernetes EndpointSlice 对象,应核对并按需启用该版本的 EndpointSlice 同步功能。Cilium Cluster Mesh 架构 · Global Services 的 EndpointSlice 同步

两个 ClusterIP 依然是各自集群的入口。Global Service 同步的是供负载均衡使用的后端,整段 ServiceCIDR 的对外路由需要独立规划。MCS API 通过 ServiceExport 和 ServiceImport 定义跨集群服务,默认使用 clusterset.local 命名,这是另一套服务发现接口。若确实需要对外通告某些 Service VIP,Cilium BGP 支持按配置选择 ClusterIP、ExternalIP 或 LoadBalancerIP 通告。Cilium MCS API · Cilium BGP Service 通告配置

3. 在 IDC 边界抓包,目的地址是什么?

假设 B 的示例 Pod 10.129.8.31 运行在节点 10.64.17.24。同一个应用后端,在两种转发模式下会让边界看到不同的目的地址。

转发模式 IDC 边界看到的目的地址 底层网络要满足什么 到 B 之后
Tunnel 外层目的为 B 的后端节点 10.64.17.24 节点 InternalIP 双向可达,放行实际封装流量并核对有效 MTU。Underlay 按节点地址转发即可 B 节点解封装,内层目的为 Pod 10.129.8.31
Native routing 目的为 B Pod 10.129.8.31 正向可到 B 的 Pod 前缀,反向可到 A 的 Pod 前缀。可以用静态路由、云原生路由或 BGP 提供可达性 云侧网络和 B 节点按原生 IP 路由交付给 Pod

Tunnel 要按实际协议核对路径。Cilium 文档列出的默认端口包括 VXLAN 的 UDP 8472 和 Geneve 的 UDP 6081。还要检查 WAN/VPN 叠加封装后的可用 MTU。原生路由模式则要看边界、云路由表和节点的实际 Pod 前缀与下一跳。两边的 Native Routing CIDR 必须覆盖 Mesh 内全部参与互联的 Pod 网段。对本例,它至少要覆盖 10.128.0.0/16 和 10.129.0.0/16,例如可用 10.128.0.0/15 表示。这个配置范围本身不会向 WAN 或 VPC 安装路由。Cilium 路由文档 · Cluster Mesh 的 Native Routing 要求

BGP Control Plane 可以把符合条件的路由通告给邻居。接收设备是否选中并安装路由,还取决于各自的路由策略与可用下一跳。Cilium BGP 本身不编程 Cilium 数据面,跨集群服务的端点状态仍由 Mesh 同步。Cilium BGP Control Plane

上线前核对 Cluster Mesh 的边界条件

按 Cilium 1.20 的安装文档,接入同一个 Mesh 的集群应使用相同 datapath mode,任意两集群版本差不超过一个 minor。每个集群应有唯一的 cluster.name 和 cluster.id。节点的 InternalIP 要双向可达,各节点和各集群分配的 PodCIDR 须无冲突。隔离 VRF 可以各自承载重叠网段,而同一个 Mesh 里的 Pod 必须能用唯一地址完成端点识别和通信。Cilium Cluster Mesh 安装前提

Cluster Mesh 控制面的 mTLS 保护控制面连接。Pod 流量是否加密,要独立验证数据面配置。网络策略要在执行策略的各集群声明和部署,Mesh 不会自动复制策略。以 Cilium 1.20 文档为例,端点选择器默认选择本集群,跨集群匹配需明确目标,例如通过 io.cilium.k8s.policy.cluster 指定。旧版本可能使用不同的默认范围,升级或混合版本期间按实际版本核对。Cluster Mesh TLS 配置 · Cluster Mesh 网络策略

4. 先定位失败的那一层

每次记录时间、源集群、查询得到的 VIP、实际选中的后端和 datapath mode。必要时同时保留 UDP 封装外层或原生路径的可观察地址,并在 IDC 侧和云侧对齐时点。DNS 解析成功只能说明拿到了入口地址,后端是否可达需要另查。

现象 优先检查 需要对齐的证据
DNS 正常,本地后端正常,A 没有远端后端 核对两边 Service 名、命名空间、global/shared 注解、后端就绪状态和 cilium clustermesh status。检查 A 的 Cilium 后端表 A 是否同步到 B 的 Service/端点,B 是否共享后端
A 选中了 B 后端,Tunnel 模式超时 查外层目的 10.64.17.24、封装协议与端口、WAN 和云防火墙、路径 MTU,分段确认是否到达 B 节点并解封装 边界和 B 节点看到的外层/内层地址,以及反向封装或回程
A 选中了 B 后端,Native routing 超时 在实际 VRF、VPC 路由表和节点核对 10.129.0.0/16 的有效路由,并检查 B 到 A 的回程前缀 正反向实际命中的路由、下一跳,及任何 NAT 后的源地址
请求到达 B,仍没有应答 区分应用监听、Pod ingress、源端 egress、防火墙与连接状态。按真实策略执行点逐段看 B 是否收到请求、是否生成回包、回包在哪一跳停止
WAN 故障或 Mesh 控制面失联 在受控环境中分别演练业务路径故障和控制面断连 新连接是否仍选远端、旧连接能否继续、何时移除缓存后端

只切断数据路径时,控制面可能继续提供原端点。只切断控制面时,数据路径也可能暂时继续转发。Cilium 1.20 文档说明,远端集群不可达时,默认会保留最后已知的服务状态。因此新连接可能仍选到陈旧或不可达的远端后端。clustermesh.cacheTTL 可以约束这类缓存保留时间,业务可达性仍要用数据面观测和故障演练确认。新连接的后端选择与既有连接的恢复应分别记录。Cilium 对不可达集群的处理

5. 公开实践分别解决了哪类问题?

  • EVPN/VXLAN 租户隔离。 在支持的 Fabric 上,租户 VRF 管三层转发,L3 VNI 标识对应转发域,Route Target 控制路由的导入和导出。共享服务可以按选定前缀做 route leaking。Cisco 配置指南 · RFC 4364
  • AWS Transit Gateway 路由分段。 一个 attachment 关联一张查表用的路由表,可以向一张或多张表传播路由。用不同表分隔业务 VPC,并按所需路径引入共享服务 VPC 的路由,同时处理子网路由表和回程。AWS Transit Gateway 路由表
  • GKE 多集群入口。 GKE Multi-cluster Gateway 可与 Multi-cluster Services 配合,用负载均衡器承接统一入口,再把请求送到多个集群中的后端。这个方案适合先解决入口层服务暴露。Google Cloud Multi-cluster Gateway
  • ECCO 跨集群访问存储。 CNCF 案例介绍了 ECCO 用 Cilium Cluster Mesh 让应用通过私有网络访问 MinIO,业务涉及 Trino、Spark,以及 AI/ML 训练和推理。CNCF ECCO 案例
  • Preferred Networks 统一 CNI。 CNCF 案例记录了五个集群采用 Cilium。IDC 通过 BGP 向交换机通告 Pod 路由,云端使用 VXLAN。这是不同部署环境各自选择转发方式的案例,同一 Cluster Mesh 的兼容性应看其版本要求。CNCF Preferred Networks 案例

6. 什么时候需要引入 Mesh?

如果跨站点只要访问 API、镜像仓库和管理服务,先用 WAN/VRF、私有 DNS 和内部 Gateway 提供明确的访问入口和回程。若多个集群处在同一信任范围内,确实需要共享后端或 Pod 直连,再为 Mesh 统一地址规划、模式、策略与故障演练。

在一个混合云训练架构示例里,可以把同一作业的 GPU rank 放在同一训练域,让 NCCL 使用域内 GPU Fabric。跨站点业务访问、镜像和数据副本则走 WAN。实际训练作业如何放置,要结合可接受的通信时延、链路容量和故障域评估。本站的 AI Infra 混合云网络建设方案