从 IDC 到云上 Pod:VRF 和 Cilium Cluster Mesh 如何协作
VRF 决定报文在哪张三层转发表查下一跳,Cilium Cluster Mesh 同步多集群端点,让本地 Service 可以选中远端 Pod。选中后端后,请求和回包仍要各自走通底层网络。
假设 IDC 和云上各运行一个 Kubernetes 集群。IDC 的客户端能解析 model-api,访问本地后端正常,选中云端 Pod 时却超时。排查时先把四个观察点分开:DNS 返回哪个 VIP、Cilium 选中哪个后端、边界按哪个目的地址和 VRF 转发,以及回包能否按预期返回。下文的站点、服务名和地址都是示例。
1. VRF 决定这次查哪张路由表
同一台设备可以维护多个独立的三层查表上下文。转发报文时,通常先由入三层接口确定它所属的 VRF,再在该 VRF 的转发表中对目的地址做最长前缀匹配。静态路由和 BGP 为路由选择提供信息,转发表则保存实际要使用的下一跳和出口。
在 Linux VRF-lite 中,VRF 设备关联一张路由表,三层接口加入对应设备。l3mdev 规则将相关流量导向该表,本机应用也可以把 socket 绑定到 VRF 设备。查表仍受策略路由规则优先级影响,优先级更高的规则可能先匹配。VRF 可以与 netns 组合使用,分别提供三层查表分离与网络命名空间隔离。二层隔离、ACL 和加密需要另外配置。Linux 内核 VRF 文档
假设 PROD 和 LAB 的地址规划都包含 10.10.0.0/16。同一个目的 10.10.2.8 从不同接口进入设备,可以匹配到不同转发表和下一跳。
| 流量从哪里进入 | 查表上下文 | 命中的目的前缀 | 选出的下一跳 |
|---|---|---|---|
| 生产计算 VLAN 的三层接口 | PROD VRF | 10.10.0.0/16 |
生产园区路由器 |
| 实验 VLAN 的三层接口 | LAB VRF | 10.10.0.0/16 |
实验网关 |
VLAN 划分二层广播域,VRF 划分三层查表范围。生产计算和生产存储可以处在不同 VLAN,但它们的三层接口仍属于同一个 PROD VRF。是否允许两者互访,要看已安装的路由及访问策略。
两个 VRF 都需要访问镜像仓库
可以用 route leaking 给两个 VRF 导入共享镜像仓库所需的前缀,同时核对共享侧到客户端的回程和防火墙规则。导入前后检查实际命中的前缀和下一跳,避免把共享一个服务扩展成两个地址域之间的任意互通。
如果 PROD 和 LAB 都会用 10.10.2.8 作为源地址,仓库侧仅凭源 IP 无法判断回包该送回哪个域。可以在明确的服务边界给两侧使用不同的 SNAT 地址,或用代理终止连接,并在对应边界保存会话和回程路径。在 EVPN/VXLAN 网络里,租户 VRF 绑定的 L3 VNI 用来标识三层转发域。Route Target 则控制哪些路由可以导入、导出某个 VRF。Cisco VRF 与 Route Leaking 文档 · RFC 4364 的 Route Target 规则
2. Cluster Mesh 如何让 A 选到 B 的后端?
K8s-A 和 K8s-B 各有自己的 Kubernetes API 和调度器。假设两个集群的本地 DNS 后缀都为 cluster.local,inference 命名空间内各有一个端口为 80 的 model-api Service。
| 集群 | 站点 | 节点网段 | Pod 网段 | 本地 model-api ClusterIP |
示例后端 |
|---|---|---|---|---|---|
| K8s-A | IDC | 10.16.16.0/20 |
10.128.0.0/16 |
10.240.0.20 |
10.128.1.25 |
| K8s-B | 云 VPC | 10.64.16.0/20 |
10.129.0.0/16 |
10.240.16.20 |
10.129.8.31 |
两边的 Service 采用相同名称、命名空间和 Global Service 注解。示例省略了已由各集群分配的 ClusterIP。
1 | apiVersion: v1 |
默认共享各集群的本地后端。若 B 设置 service.cilium.io/shared: "false",B 停止向其他集群共享自己的本地后端。B 内仍可使用本地后端,也可以使用其他集群向它共享的后端。若要让流量优先落到本地或远端,应单独看 Service affinity 对候选后端的选择策略。Cilium Global Services 文档
跟踪一次 A 到 B 的访问
- A 的客户端查询
model-api.inference.svc.cluster.local,本地 DNS 返回 A 的 VIP10.240.0.20。 - Cluster Mesh 将 B 的 Service 和端点状态同步到 A。A 的 Cilium Agent 将符合条件的 B 后端和本地后端一起编入本地数据面。
- 这次 A 选中 B 上的
10.129.8.31:80。实际承载报文经 IDC 边界 VRF、WAN 和云 VPC 抵达 B。目的地址的内外层取决于 Cilium 的转发模式。路由、策略和回程都可用时,应用才能收到应答。
1 | 控制面(虚线,后台状态同步) |
以上端点同步指 Cilium 数据面可以使用的远端状态。普通非 Headless Global Service 默认由 Cilium 在内部使用远端端点。若其他控制器需要读取远端端点对应的 Kubernetes EndpointSlice 对象,应核对并按需启用该版本的 EndpointSlice 同步功能。Cilium Cluster Mesh 架构 · Global Services 的 EndpointSlice 同步
两个 ClusterIP 依然是各自集群的入口。Global Service 同步的是供负载均衡使用的后端,整段 ServiceCIDR 的对外路由需要独立规划。MCS API 通过 ServiceExport 和 ServiceImport 定义跨集群服务,默认使用 clusterset.local 命名,这是另一套服务发现接口。若确实需要对外通告某些 Service VIP,Cilium BGP 支持按配置选择 ClusterIP、ExternalIP 或 LoadBalancerIP 通告。Cilium MCS API · Cilium BGP Service 通告配置
3. 在 IDC 边界抓包,目的地址是什么?
假设 B 的示例 Pod 10.129.8.31 运行在节点 10.64.17.24。同一个应用后端,在两种转发模式下会让边界看到不同的目的地址。
| 转发模式 | IDC 边界看到的目的地址 | 底层网络要满足什么 | 到 B 之后 |
|---|---|---|---|
| Tunnel | 外层目的为 B 的后端节点 10.64.17.24 |
节点 InternalIP 双向可达,放行实际封装流量并核对有效 MTU。Underlay 按节点地址转发即可 | B 节点解封装,内层目的为 Pod 10.129.8.31 |
| Native routing | 目的为 B Pod 10.129.8.31 |
正向可到 B 的 Pod 前缀,反向可到 A 的 Pod 前缀。可以用静态路由、云原生路由或 BGP 提供可达性 | 云侧网络和 B 节点按原生 IP 路由交付给 Pod |
Tunnel 要按实际协议核对路径。Cilium 文档列出的默认端口包括 VXLAN 的 UDP 8472 和 Geneve 的 UDP 6081。还要检查 WAN/VPN 叠加封装后的可用 MTU。原生路由模式则要看边界、云路由表和节点的实际 Pod 前缀与下一跳。两边的 Native Routing CIDR 必须覆盖 Mesh 内全部参与互联的 Pod 网段。对本例,它至少要覆盖 10.128.0.0/16 和 10.129.0.0/16,例如可用 10.128.0.0/15 表示。这个配置范围本身不会向 WAN 或 VPC 安装路由。Cilium 路由文档 · Cluster Mesh 的 Native Routing 要求
BGP Control Plane 可以把符合条件的路由通告给邻居。接收设备是否选中并安装路由,还取决于各自的路由策略与可用下一跳。Cilium BGP 本身不编程 Cilium 数据面,跨集群服务的端点状态仍由 Mesh 同步。Cilium BGP Control Plane
上线前核对 Cluster Mesh 的边界条件
按 Cilium 1.20 的安装文档,接入同一个 Mesh 的集群应使用相同 datapath mode,任意两集群版本差不超过一个 minor。每个集群应有唯一的 cluster.name 和 cluster.id。节点的 InternalIP 要双向可达,各节点和各集群分配的 PodCIDR 须无冲突。隔离 VRF 可以各自承载重叠网段,而同一个 Mesh 里的 Pod 必须能用唯一地址完成端点识别和通信。Cilium Cluster Mesh 安装前提
Cluster Mesh 控制面的 mTLS 保护控制面连接。Pod 流量是否加密,要独立验证数据面配置。网络策略要在执行策略的各集群声明和部署,Mesh 不会自动复制策略。以 Cilium 1.20 文档为例,端点选择器默认选择本集群,跨集群匹配需明确目标,例如通过 io.cilium.k8s.policy.cluster 指定。旧版本可能使用不同的默认范围,升级或混合版本期间按实际版本核对。Cluster Mesh TLS 配置 · Cluster Mesh 网络策略
4. 先定位失败的那一层
每次记录时间、源集群、查询得到的 VIP、实际选中的后端和 datapath mode。必要时同时保留 UDP 封装外层或原生路径的可观察地址,并在 IDC 侧和云侧对齐时点。DNS 解析成功只能说明拿到了入口地址,后端是否可达需要另查。
| 现象 | 优先检查 | 需要对齐的证据 |
|---|---|---|
| DNS 正常,本地后端正常,A 没有远端后端 | 核对两边 Service 名、命名空间、global/shared 注解、后端就绪状态和 cilium clustermesh status。检查 A 的 Cilium 后端表 |
A 是否同步到 B 的 Service/端点,B 是否共享后端 |
| A 选中了 B 后端,Tunnel 模式超时 | 查外层目的 10.64.17.24、封装协议与端口、WAN 和云防火墙、路径 MTU,分段确认是否到达 B 节点并解封装 |
边界和 B 节点看到的外层/内层地址,以及反向封装或回程 |
| A 选中了 B 后端,Native routing 超时 | 在实际 VRF、VPC 路由表和节点核对 10.129.0.0/16 的有效路由,并检查 B 到 A 的回程前缀 |
正反向实际命中的路由、下一跳,及任何 NAT 后的源地址 |
| 请求到达 B,仍没有应答 | 区分应用监听、Pod ingress、源端 egress、防火墙与连接状态。按真实策略执行点逐段看 | B 是否收到请求、是否生成回包、回包在哪一跳停止 |
| WAN 故障或 Mesh 控制面失联 | 在受控环境中分别演练业务路径故障和控制面断连 | 新连接是否仍选远端、旧连接能否继续、何时移除缓存后端 |
只切断数据路径时,控制面可能继续提供原端点。只切断控制面时,数据路径也可能暂时继续转发。Cilium 1.20 文档说明,远端集群不可达时,默认会保留最后已知的服务状态。因此新连接可能仍选到陈旧或不可达的远端后端。clustermesh.cacheTTL 可以约束这类缓存保留时间,业务可达性仍要用数据面观测和故障演练确认。新连接的后端选择与既有连接的恢复应分别记录。Cilium 对不可达集群的处理
5. 公开实践分别解决了哪类问题?
- EVPN/VXLAN 租户隔离。 在支持的 Fabric 上,租户 VRF 管三层转发,L3 VNI 标识对应转发域,Route Target 控制路由的导入和导出。共享服务可以按选定前缀做 route leaking。Cisco 配置指南 · RFC 4364
- AWS Transit Gateway 路由分段。 一个 attachment 关联一张查表用的路由表,可以向一张或多张表传播路由。用不同表分隔业务 VPC,并按所需路径引入共享服务 VPC 的路由,同时处理子网路由表和回程。AWS Transit Gateway 路由表
- GKE 多集群入口。 GKE Multi-cluster Gateway 可与 Multi-cluster Services 配合,用负载均衡器承接统一入口,再把请求送到多个集群中的后端。这个方案适合先解决入口层服务暴露。Google Cloud Multi-cluster Gateway
- ECCO 跨集群访问存储。 CNCF 案例介绍了 ECCO 用 Cilium Cluster Mesh 让应用通过私有网络访问 MinIO,业务涉及 Trino、Spark,以及 AI/ML 训练和推理。CNCF ECCO 案例
- Preferred Networks 统一 CNI。 CNCF 案例记录了五个集群采用 Cilium。IDC 通过 BGP 向交换机通告 Pod 路由,云端使用 VXLAN。这是不同部署环境各自选择转发方式的案例,同一 Cluster Mesh 的兼容性应看其版本要求。CNCF Preferred Networks 案例
6. 什么时候需要引入 Mesh?
如果跨站点只要访问 API、镜像仓库和管理服务,先用 WAN/VRF、私有 DNS 和内部 Gateway 提供明确的访问入口和回程。若多个集群处在同一信任范围内,确实需要共享后端或 Pod 直连,再为 Mesh 统一地址规划、模式、策略与故障演练。
在一个混合云训练架构示例里,可以把同一作业的 GPU rank 放在同一训练域,让 NCCL 使用域内 GPU Fabric。跨站点业务访问、镜像和数据副本则走 WAN。实际训练作业如何放置,要结合可接受的通信时延、链路容量和故障域评估。本站的 AI Infra 混合云网络建设方案
