avatar
文章
333
标签
546
分类
79
关于笔者
主页
博文
  • 分类
  • 标签
  • 归档
生活
友链
留言板
Roger-Lv's space
搜索
关于笔者
主页
博文
  • 分类
  • 标签
  • 归档
生活
友链
留言板

Roger-Lv's space

从 IDC 到云上 Pod:VRF 和 Cilium Cluster Mesh 如何协作
发表于2026-11-20|AI Infra
VRF 决定报文在哪张三层转发表查下一跳,Cilium Cluster Mesh 同步多集群端点,让本地 Service 可以选中远端 Pod。选中后端后,请求和回包仍要各自走通底层网络。 假设 IDC 和云上各运行一个 Kubernetes 集群。IDC 的客户端能解析 model-api,访问本地后端正常,选中云端 Pod 时却超时。排查时先把四个观察点分开:DNS 返回哪个 VIP、Cilium 选中哪个后端、边界按哪个目的地址和 VRF 转发,以及回包能否按预期返回。下文的站点、服务名和地址都是示例。 1. VRF 决定这次查哪张路由表 同一台设备可以维护多个独立的三层查表上下文。转发报文时,通常先由入三层接口确定它所属的 VRF,再在该 VRF 的转发表中对目的地址做最长前缀匹配。静态路由和 BGP 为路由选择提供信息,转发表则保存实际要使用的下一跳和出口。 在 Linux VRF-lite 中,VRF 设备关联一张路由表,三层接口加入对应设备。l3mdev 规则将相关流量导向该表,本机应用也可以把 socket 绑定到 VRF 设备。查表仍受策略路由规则优先级影响,...
大模型知识蒸馏(Knowledge Distillation):从 Teacher 分布学习到 Student 能力迁移
发表于2026-11-20|AI Infra
知识蒸馏用 Teacher 的预测或生成结果监督 Student,在目标任务上转移能力。选择蒸馏方式时,既要看能获得什么监督信号,也要算清生成、训练和上线服务各要花多少钱。 假设已有一个 70B Teacher,目标是训练一个 7B Student 处理 Kubernetes 运维问答。只拿到 Teacher 的一条回答,可以把它做成 SFT 样本。拿到完整的下一个 token 分布,还可以让 Student 学习 Teacher 对其他候选的判断。两者需要的数据、训练目标和基础设施都不同。 1. 蒸馏可以放在训练的哪个环节? 蒸馏描述监督信号如何从 Teacher 传给 Student。预训练时,可以让两者读同一段语料,在选定位置匹配下一个 token 的分布,并混合原语料的语言建模目标。后训练时,可以让 Teacher 回答指令,把通过校验的响应或解题轨迹用于 SFT。若还要用奖励优化 Student,可以把蒸馏用作起点,也可以按训练设计和其他目标组合。 12345一种常见的 Student 训练路线语料 → 预训练 → Base Model → 指令 SFT → 可选的...
GPUDirect RDMA(GDR)与 NUMA:GPU 服务器高速通信的底层原理与拓扑实践
发表于2026-11-20|AI Infra
GPUDirect RDMA 让网卡直接读写已注册的 GPU 显存,NUMA 帮助定位进程和内存的局部性,最终要用 PCIe 拓扑、网络插件日志和跨节点 GPU 缓冲区测试确认实际数据路径。 多机训练做 AllReduce、AllGather、ReduceScatter 或点对点收发时,数据通常在 GPU 显存中产生和消费。即使 InfiniBand 或 RoCE 链路已经跑通,每端仍可能把数据先复制到主机内存。要解释吞吐或延迟差异,先确认数据从哪块显存出发、经过哪张网卡,以及在哪一段使用了主机内存。 1. 从一段梯度看 GDR 的数据路径 考虑两个训练节点交换梯度。若 RDMA 注册的是 Host Memory,就需要在发送端执行 GPU 到主机的复制,在接收端把主机缓冲区再复制到 GPU。网卡仍用 DMA 收发,但两端都要为中转付出复制时间与主机内存带宽。 123456789101112131415161718192021主机内存中转发送 GPU ↓ D2H 复制发送端 Host Buffer ↓ NIC DMA 读取发送 NIC ↓ IB / RoCE接收 NIC ...
分布式训练为什么怕存储 I/O 长尾?从 SC26 实测看 GPU 集群网络隔离
发表于2026-11-20|AI Infra
给 GPU 集群做网络验收时,最容易测的是空载 NCCL/RCCL 带宽,最容易漏掉的是训练和读数据同时跑时的长尾。SC26 PDSW 的一项实测给了一个很好的反例:在同一套 Slingshot 11 集群里,隔离存储和梯度通信的流量类别有帮助,但分到独立类别的存储路径,仍有 11.5% 的迭代等数据超过 1 秒。要定位瓶颈,需要分别测两个量:GPU 在等下一批数据多久,集体通信本身又变慢了多少。 上一篇混合云网络建设方案把计算通信留在站点内;这篇进一步看站点内训练和存储如何互相影响。 1. 一次训练迭代,会在哪里等? 12数据面:共享存储 → 存储网络 → DataLoader worker → 预取队列 → 训练 rank通信面:训练 rank → 反向传播产生梯度 → all-reduce → 各 rank 继续推进 DataLoader 通常提前读下一批数据。只要预取在当前计算结束前完成,I/O 就不一定出现在迭代的关键路径上。真正该记录的是训练循环拿下一批数据时还要等多久,也就是 DataLoader 的暴露等待。一个 rank 遇到慢读,可能晚进入 collecti...
AI Infra 混合云网络建设方案(多 IDC、多云、多集群与 GPU RDMA)
发表于2026-11-20|AI Infra
假设一家训练平台同时运营两个自建 IDC 和两家公有云,每个站点都有独立的 Kubernetes 集群。平台要统一下发训练任务,分发镜像、数据集和模型,并收集监控、日志与 Checkpoint。单个训练作业的所有 Worker 放在同一个计算域,成组 GPU 通信留在域内。这个前提决定了广域网主要承载管理、服务访问和数据同步,站点内的计算 Fabric 则按集合通信的负载单独设计与验收。 1. 按业务流量划分网络 先为每类流量指定端点、路径和故障影响,再决定是否接入 WAN。不同云的 VPC 和自建 IDC 的 VRF 可以接入同一套路由治理。每个集群仍保有自己的 API、CNI、服务和本地计算域。 流量 常用路径 站点之间的边界 集群管理、任务下发、监控日志 站点管理网到平台 API 或代理 发布管理入口与必要回程,集群继续运行本地控制循环 镜像、模型和平台服务 私有服务入口、内部 DNS、镜像代理或区域副本 只开放实际使用的服务和调用身份 数据预热、Checkpoint 复制 区域存储到中心存储的传输链路 按版本、容量和优先级治理,给控制流量保留容量 ...
为什么 VXLAN 使用 UDP?从 4789 端口到 ECMP 分流
发表于2026-11-20|AI Infra
两个虚拟机之间有多条业务流,到了物理交换机眼里,它们可能都来自同一个 VTEP、去往同一个 VTEP。如果交换机只根据这对外层 IP 选路,即使机房里铺了两条等价路径,这批流量也可能全走同一条。VXLAN 用一个很小的字段把部分内层流量差异带到外层,这个字段就是 UDP 源端口。 VXLAN 的外层 IP 负责把报文送到远端 VTEP。外层 UDP 目的端口让接收端找到对应的隧道处理入口,源端口为底层网络的哈希提供输入。进入 VXLAN 处理逻辑以后,VNI 才用于确定报文所属的 Overlay 网络。上一篇从整体上梳理了这些组件在 VPC 中的分工。 VPC 虚拟网络架构与数据面实现 1. 沿着一帧报文看封装 假设 VM A(10.42.0.11)和 VM B(10.42.0.22)位于同一个二层虚拟网络,VNI 为 100。它们分别接入 VTEP A(192.0.2.11)和 VTEP B(192.0.2.22)。示例中,A 侧 VTEP 已经知道 B 的内层目的 MAC 对应远端 VTEP B。这条映射可以通过学习、静态配置或 EVPN 控制面获得。 RFC 7348 §...
VPC 虚拟网络架构与数据面实现:VRouter、VFW、VXLAN、OVS、Netfilter 与高性能转发
发表于2026-11-20|AI Infra
一份面向云计算、容器平台和 AI 基础设施工程师的技术梳理 重点回答:VPC 中的 VRouter、VFW 如何实现?路由是否由 iptables 完成?VXLAN 在哪里发挥作用?控制面如何把网络策略变成真实的数据包转发行为? 1. 核心结论先行 理解 VPC 虚拟网络,首先要把网络功能、协议、实现技术和控制机制分开: VRouter(虚拟路由器) 是一种三层网络功能,核心工作是根据目的 IP 查找路由,决定下一跳和出口。 VFW(虚拟防火墙) 是一种安全功能,根据安全策略决定数据包是否允许通过;有状态防火墙还会跟踪连接状态。 VXLAN是一种 Overlay 隧道封装协议,主要解决虚拟网络跨物理宿主机承载的问题。它本身不是路由协议,也不是防火墙。 iptables / nftables是配置 Linux Netfilter 规则的用户态工具;Netfilter 是 Linux 内核中的包处理框架。它们可用于过滤、NAT、标记等,但不是 Linux 路由功能本身。 Linux 路由表 / RPDB / FIB负责路由决策和快速查找。ip route、ip rule 是...
用 JuiceFS 保存训练 Checkpoint 时的容器权限边界
发表于2026-11-19|AI Infra
训练一个机器人策略模型时,通常希望任务中断后能换一批机器,从上一次完整的 checkpoint(CKPT)接着跑。用 JuiceFS 做共享存储时,训练代码可以直接写 /mnt/jfs/ckpt。但在一次托管 CPU 资源的对接中,平台支持方表示,企业版 JuiceFS 的挂载方式没有通过安全评估。为什么存一个模型文件会碰到容器特权?因为写文件之前,平台得先让另一个进程把远端文件系统挂进容器。 一次 CKPT 写入经过哪些组件 假设一个多卡任务每 5,000 步保存一次。它在第 23,000 步中断,下一个任务就从第 20,000 步那份完整的 CKPT 恢复。用于续训的 CKPT 通常包含模型权重、优化器状态和训练步数。使用 PyTorch Distributed Checkpoint 等分布式保存方式时,一份 CKPT 还可能包含多个数据分片和全局元数据。只做仿真评测的任务,则可能只需要单独导出的权重。 PyTorch 保存与恢复指南 · PyTorch Distributed Checkpoint 采用 JuiceFS CSI 的 sidecar 模式时,JuiceFS ...
从视觉 Token 到机器人动作:具身智能 VLA 与基础设施入门
发表于2026-11-19|AI Infra
面向读者:理解基本深度学习或软件工程,希望读懂具身模型论文、训练代码和推理系统的工程师。 本文围绕“把蓝色盘子左边的红杯子拿起来”展开,解释模型怎样获得视觉能力、怎样理解指令、怎样生成动作,以及基础设施怎样支撑这条链路。默认读者了解 loss、梯度和优化器,不重复通用机器学习入门。 资料核对日期:2026 年 11 月 19 日。OpenVLA、ACT、原版 π₀ 等用于说明代表性的设计,并非所有 VLA 的统一规范。除明确引用的模型配置外,文中的维度、时域和频率均为教学示例。 #article-container .katex-display { overflow-x: auto; overflow-y: hidden; padding: .2em 0; } #article-container .katex-display > .katex { min-width: 100%; width: max-content; } 阅读导航 想弄清的问题 对应章节 机器人到底观察什么、输出什么? 第 1 章 视觉编码器最开始怎样训练? ...
Volcano Action 与 Plugin 如何协作:生命周期、扩展点与调用关系
发表于2026-11-19|AI Infra
源码基准:Volcano v1.16.0。 本文聚焦 Scheduler 中的 Action、Session 与调度插件,使用对照表解释实际调用关系。ssh、svc、env 等 Job Controller 插件属于另一套生命周期,不纳入下面的 Action 映射。 理解 Volcano 时,很容易把插件想成一组依次运行的步骤:先执行 priority,再执行 gang,最后执行 predicates。实际结构更适合用“流程与策略”来理解:Action 组织调度流程,Plugin 提供策略函数,Session 保存本轮状态并负责调用、组合这些函数。 因此,“插件融入各个 Action 的执行过程”这个理解基本正确,但还需要补上一个边界:插件实例的生命周期属于 Session;Action 在执行过程中使用插件注册的回调。 同一个插件可以服务多个 Action,同一个 Action 也会使用多个插件。Session 框架 阅读导航 Session、Action、Hook、Plugin 分别是什么 一轮调度中的插件生命周期 Action → 扩展点 → 插件总表 展开 all...
12…34
avatar
Roger-Lv
Send a flare and light the way.
文章
333
标签
546
分类
79
Follow Me
公告
Welcome!
最新文章
从 IDC 到云上 Pod:VRF 和 Cilium Cluster Mesh 如何协作2026-11-20
大模型知识蒸馏(Knowledge Distillation):从 Teacher 分布学习到 Student 能力迁移2026-11-20
GPUDirect RDMA(GDR)与 NUMA:GPU 服务器高速通信的底层原理与拓扑实践2026-11-20
分布式训练为什么怕存储 I/O 长尾?从 SC26 实测看 GPU 集群网络隔离2026-11-20
AI Infra 混合云网络建设方案(多 IDC、多云、多集群与 GPU RDMA)2026-11-20
分类
  • AI Infra59
  • AIInfra5
  • Agent28
  • Agent 安全2
  • Agent 系统2
  • Agent基础设施2
  • Agent工程1
  • CUDA1
标签
GPU运维 NUMA PageCache Blackwell pytorch KV Cache NVLink MIG anaconda 强化学习 KVCache 卤鹅 I/O DCB Seq2Seq Docker AI Infra 加密 DPDK 事务 驱动 CUDA ICML 数学 node-runtime IsaacSim 推理 insmod bio VT-x 控制器 OverlayFS LKM DSec 大模型推理 KServe 高可用 namespace C语言 并行策略
归档
  • 十一月 2026 44
  • 十月 2026 17
  • 九月 2026 9
  • 八月 2026 31
  • 七月 2026 31
  • 五月 2026 6
  • 四月 2026 2
  • 三月 2026 3
网站信息
文章数目 :
333
本站访客数 :
本站总浏览量 :
最后更新时间 :
©2024 - 2026 By Roger-Lv
搜索
数据加载中