从 LLM 到具身：注意力架构、VLA/世界模型与云 Infra 的全景调研

一句话导览：本文沿三条主线展开——(1) LLM 侧注意力与 MoE 架构的最新演进（MLA、FlashAttention-3、Ring/Ulysses、线性注意力、MoE）；(2) 具身侧 VLA 与世界模型的代表架构（RT-2、OpenVLA、π0.7、GR00T N1/N1.5、RDT-1B、Genie 3/4、DreamerV3、UniSim）；(3) 从训练 Infra（混合并行、RLHF 流水线）到推理 Infra（vLLM/SGLang）以及具身特有 Infra（遥操作数据飞轮、sim2real、边缘部署、3D/空间存储、RL rollout）的全链路挑战。文末给出面向未来 12 个月的技术选型判断。

一、LLM 侧注意力架构：从"算得快"到"装得下"

1.1 注意力机制演进的三条主线

Transformer 注意力架构在过去两年沿着三条相对独立的路线并行演进：

第一条是算子层优化——以 FlashAttention 系列为代表，核心问题是如何把 GPU 的算力利用率从 35% 拉到 80% 以上。

第二条是 KV 缓存压缩——从 MHA 到 MQA、GQA 再到 MLA，核心问题是如何让长上下文推理在显存里放得下。

第三条是序列并行与长上下文扩展——Ring Attention、DeepSpeed-Ulysses、TokenRing、ringX 等，核心问题是如何把一个 1M token 的样本切到几十张卡上训练。

这三条线在 2024-2025 年开始收敛：FlashAttention-3 针对 Hopper 的 warp-specialization 和 FP8 已经成为新基线，MLA 在 DeepSeek-V2/V3/R1 上被验证为同时解决质量与 KV 显存的方案，而 Ring/Ulysses/混合序列并行正在成为 256K+ 长上下文训练的事实标准。

1.2 FlashAttention-3：Hopper 上的 warp-specialization 与 FP8

FlashAttention-3 的关键洞察是：Hopper（H100）架构提供了三样 Ampere 上没有的能力——异步 Tensor Core（WGMMA）、异步内存搬运（TMA）、以及硬件级 FP8 支持。FA-2 在 H100 上只能跑到约 35% 的利用率，FA-3 通过三项技术把它推到 75-85%：

Warp-specialization（warp 专业化）：Hopper 每个 SM 有 4 个 warp 调度器，FA-3 把 warp 划分为 producer（负责 TMA load 下一块 K/V 到 shared memory）和 consumer（负责 WGMMA 矩阵乘）。Producer 大部分时间在等内存事务，consumer 大部分时间在做矩阵乘，两组 warp 的等待时间互不干扰。这是一种"让生产者和消费者解耦"的经典异步流水线思想，但第一次被用在 attention kernel 上。

Ping-pong 调度：attention 每 tile 有两个 matmul（ $S = QK^\top$ 和 $O = PV$ ），中间夹一个 online softmax。FA-2 的 softmax 与 matmul 是串行的，因为 softmax 的 rescaling 需要等前一个 matmul 完成。FA-3 让一个 consumer warp 在算 S 时另一个 warp 在做 O 的 update，从而让 softmax 与 matmul 在不同 warp 间 overlap。FA-2 在 Ampere 上做不了这一点，因为 Ampere 的 warp scheduler 没有 Hopper 那样的 warp 组同步原语。

FP8 块量化与 incoherent processing：Hopper 的 FP8 WGMMA 理论上是 BF16 的两倍吞吐，但 FP8 在 attention 中有数值挑战——因为 softmax 之后的 P 矩阵是概率分布，数值范围很小，直接 FP8 量化会损失精度。FA-3 用块量化（per-block scale）和 incoherent processing（对 Q、K 做 Hadamard 变换以减少 outlier 影响）来缓解，最终 FP8 FA-3 在数值误差上比朴素 FP8 attention 低 2.6 倍，同时吞吐达到 1.3 PFLOPs/s。

Infra 视角的延伸：在 Blackwell（B200/GB200）上，FA-3 的设计范式会继续演进——TMA 的异步 gather、更深的 softmax-async、以及 NVFP4/MXFP4 低精度格式。这对云平台意味着：新的 attention kernel 必须与硬件代次同步演进，否则算力利用率会掉一半以上。Infra 团队需要提前在 PyTorch / Triton / CUTLASS 上做 kernel 可移植性设计。

1.3 MLA：DeepSeek 的 KV 低秩压缩范式

MLA（Multi-head Latent Attention）由 DeepSeek 在 V2 上首次提出，在 V3 和 R1 上延续使用。它的核心思想是：把 K 和 V 投影到一个低维 latent 空间，KV 缓存只存这个 latent 向量，推理时再投影回原维度。

用公式表示：传统 MHA 中，对每个 token $t$ 每个头 $h$ 要存 $K_t^h, V_t^h$ ，KV 缓存大小为 $O(N \times H \times d)$ 。MLA 把 K 和 V 先投影到 latent 空间 $c_t$ （维度 $d_c \ll H \times d$ ），KV 缓存只存 $c_t$ ，推理时通过上投影矩阵 $W^{UK}, W^{UV}$ 恢复。代价是每次 attention 多两次矩阵乘（一次对 K，一次对 V），但 KV 缓存从 $O(N \times H \times d)$ 压缩到 $O(N \times d_c)$ ，同时位置编码需要在 K 上做 RoPE，这又引入了 partial-RoPE 的问题。

MLA 相比 GQA 的优势：

维度	MHA	GQA	MLA
KV 缓存	$N \times H \times d$	$N \times G \times d$ （G=共享组数）	$N \times d_c$
模型质量	基线	略低于 MHA	与 MHA 持平甚至更好
计算量	最低	最低	略高（上投影）
调优难度	容易	容易	困难，需要 pretrain 时学习

Sebastian Raschka 的分析指出：在 DeepSeek-V2 的 ablation 中，GQA 在建模性能上明显低于 MHA，而 MLA 保持与 MHA 持平甚至略优；MLA 不仅仅是省内存，而是一个"保质量的效率优化"。但 Raschka 同时指出：MLA 在小于 100B 参数的模型上往往不如 GQA 容易调优。这解释了为什么 Llama 3 仍然用 GQA 而不是 MLA——GQA 更简单，MLA 需要从 pretrain 开始设计。

MHA2MLA 等工作开始探索：如何把已经 pretrain 好的 MHA 模型（如 Llama）通过低秩 SVD 和 partial-RoPE 剪枝，用少量数据微调迁移到 MLA，以获得 KV 缓存收益。这对云平台的启示是：MLA 很可能成为下一代长上下文推理服务的默认选择，但你需要考虑现有模型的迁移成本。

1.4 Ring Attention 与 Ulysses：长上下文的并行化

当序列长度 N 达到 100K-1M 时，单卡显存放不下 KV 缓存，必须在多卡间切分序列。两条主流路线：

Ring Attention（Liu et al., 2023）：把 Q/K/V 沿序列维度分块到不同 GPU 上，每张 GPU 持有一块 Q、一块 K、一块 V。通过 GPU 间的点对点通信，K/V 块沿"环"拓扑逐卡传递，每张 GPU 在收到 K/V 块时计算 partial attention，最后做 online softmax 归约。核心约束：计算时间随序列长度二次增长，通信时间线性增长，所以当序列长度变大时通信占比会下降——但这是一个"反向"的瓶颈。

DeepSpeed-Ulysses（Jacobi et al., 2023）：用 all-to-all 集合通信替代点对点。每张 GPU 持有一段完整的 Q、K、V（sequence 分片），通过 all-to-all 把 Q/K/V 重排成"head 分片"——即每张 GPU 拿到所有 token 的某几个 head。计算 attention 后再 all-to-all 回去。优势：集合通信带宽利用率高于点对点，且 attention kernel 内部不需要修改。

两条路线各有局限：Ring Attention 的点对点通信在大规模集群上容易死锁，Ulysses 在 head 数少于 GPU 数时会浪费并行度。LongContextAttention（统一序列并行 USP）把两者混合：小规模用 Ulysses，大规模用 Ring，两者 overlap。在 Frontier 超算上，ringX 优化了 Ring Attention 的负载均衡和通信模式，端到端训练加速 1.5 倍。

当前的混合策略（2024-2025 年主流做法）：

序列并行（选择 Ring 或 Ulysses 或混合）
    ↓
张量并行 TP（跨 GPU 切 head）
    ↓
流水线并行 PP（跨 GPU 切层）
    ↓
数据并行 DP + ZeRO-3（跨 GPU 切模型状态）
    ↓
FSDP（ZeRO-3 的 PyTorch 原生实现）

长上下文训练的核心瓶颈：当序列长度 N 增加时，激活显存按 $O(N \times H \times d)$ 线性增长，attention 算力按 $O(N^2 \times d)$ 二次增长。所以长上下文训练不只是并行化问题，而是"算力 vs 显存"的权衡。激活重计算、分块 attention、稀疏 attention 都是为了缓解这个矛盾。

1.5 线性注意力：Mamba、RWKV 与混合架构

线性注意力家族试图把 attention 的 $O(N^2)$ 复杂度降到 $O(N)$ 。核心思路：用核函数或状态空间模型（SSM）替代 $\text{softmax}(QK^\top)V$ 中的显式两两打分。

Mamba/Mamba-2（Gu & Dao, 2023-2024）：选择性状态空间模型（S6），核心是一个可学习的状态更新方程 $h_t = A h_{t-1} + B x_t$ ，输出 $y_t = C h_t$ 。选择性意味着 A、B、C 是输入 $x_t$ 的函数，这使模型能动态决定"记住什么、遗忘什么"。Mamba-2 把 SSM 与 attention 统一为 SSD（State Space Duality）框架，在硬件上可以复用 FlashAttention 的 tiling 思想。

RWKV：RNN 与 KV cache 的混合，用指数衰减的加权平均替代显式 attention。推理时是 RNN，显存 $O(1)$ 。

线性注意力的现实：纯线性注意力在语言建模上长期略逊于 softmax attention，特别是在召回、多跳推理等需要精确访问历史 token 的任务上。2024-2025 年的趋势是混合架构：前几层用 full attention（保证召回），中间层用线性/SSM（省显存和算力），最后几层再用 full attention。Jamba（AI21）、Zamba、Griffin 等都是这一方向。混合架构对 Infra 的意义：训练框架必须同时支持 attention 和 SSM 算子，混合并行策略需要考虑 SSM 层的序列依赖性（不能像 attention 一样沿序列分片）。

1.6 MoE：稀疏化扩展的新范式

Mixture of Experts 在 2024 年成为扩展参数规模的主流：MoE 模型总参数量大（如 DeepSeek-V3 671B），但每个 token 只激活一小部分（37B），从而在推理成本可控的前提下获得大模型容量。

DeepSeek-V3 的 MoE 设计：细粒度专家 + 共享专家隔离。共享专家处理通用知识，细粒度路由专家处理领域知识，两者输出相加。路由采用无辅助损失的负载均衡（auxiliary-loss-free load balancing），通过调整每个专家的 bias 项实现，而不是用传统的辅助损失（auxiliary loss 会干扰主损失）。

MoE 对 Infra 的三大挑战：

All-to-all 通信：MoE 的 dispatch/combine 阶段需要 token 在专家间路由，形成 all-to-all 通信模式。这比 TP/PP 的通信更难调度，特别是专家数量多（如 256 个专家）时。需要专门的 MoE 并行策略：EP（Expert Parallelism），与 TP/PP/DP/SP 正交。
显存碎片：专家参数在 GPU 间不均匀分布会导致负载不均衡，需要动态路由统计和 rebalancing。
推理批处理：MoE 推理时不同 token 激活不同专家，批处理效率低于 dense 模型。vLLM/SGLang 都需要专门的 MoE kernel（如 fused_moe）来处理。

MoE + MLA 的组合（DeepSeek-V3/R1 的设计）成为长上下文 + 大容量 + 低推理成本的最佳实践：MLA 压缩 KV 缓存，MoE 压缩激活参数量，两者共同把 671B 模型的推理成本降到接近 70B dense 模型的水平。

1.7 模型架构趋势总结

2024-2025 年的 LLM 架构演进可以总结为几个方向：

从 MHA 到 MLA：KV 缓存压缩成为长上下文推理的刚需。
从 dense 到 MoE：激活参数稀疏化，容量与成本解耦。
从 fixed 到 hybrid：混合 attention/SSM 架构平衡召回与效率。
从 BF16 到 FP8/FP4：训练与推理的数值精度持续下探。
从短上下文到 1M+：长上下文不再是"能力"，而是"基础设施"。

对应到 Infra 的核心诉求：算子融合、显存压缩、通信优化、批处理效率——这四件事贯穿训练和推理的全生命周期。

二、具身 VLA 与世界模型架构

2.1 VLA 范式的演进路径

VLA（Vision-Language-Action）模型的演进经历了三代：

第一代：任务专用 policy（2020-2022）——如 BC-Z、Diffusion Policy、ACT，在小规模数据上训练单一任务，缺乏泛化能力。

第二代：VLA 直接输出离散 action token（2023-2024）——以 RT-2、OpenVLA 为代表。核心思想：把 action 离散化为 256 个 bin 的 token，让 VLM（如 PaLM-E、Llama-2）直接 next-token-predict 动作序列。

第三代：连续 action + Flow Matching / Diffusion 专家（2024-2025）——以 π0/π0.5/π0.7、GR00T N1、RDT-1B 为代表。核心思想：VLM backbone 负责"理解"，一个小的 action expert（扩散或 flow matching）负责"生成"连续动作分布。

第三代的出现是因为离散 token 无法表达动作的多模态分布（同一观测下可能有多种合理动作），而 diffusion/flow matching 天然擅长建模多模态分布。

2.2 代表性 VLA 架构深度剖析

RT-2（Google DeepMind, 2023）

RT-2 是 VLA 范式的开山之作。架构：PaLM-E（12B）或 PaLI-X（55B）作为 VLM backbone，把 7 维机器人动作离散化为 256 个 bin 的 token，通过 co-finetune 在 web-scale 视觉-语言数据和机器人数据上。输入是图像 + 指令，输出是 action token 序列，机器人按 token 反离散化为连续动作执行。

RT-2 的核心贡献是证明：web 预训练的语义知识可以迁移到机器人控制。它在 emergent skill 评估上比 RT-1 提升 3 倍，能理解"bag about to fall off the table"这样的复杂指令。

局限：动作 token 离散化丢失精度；推理速度慢（55B 模型）；动作 chunk 短，长任务规划困难。

OpenVLA（Stanford/Berkeley, 2024）

OpenVLA 是开源 VLA 的标杆。架构：Llama-2 7B + DINOv2 + SigLIP 双视觉编码器，在 Open X-Embodiment（OXE）数据集的 970K 真实机器人示范上训练。

关键设计：

双视觉编码器：DINOv2 提供空间细节，SigLIP 提供语义理解，两者特征拼接后输入 LLM。
Action tokenization：256 bin 离散化，输出 7 维动作（3 位置 + 3 旋转 + 1 夹爪）。
训练数据：OXE 的 22 种机器人、22 个机构、1M+ episodes。

OpenVLA 的意义：证明了 VLA 可以在中等规模（7B）上达到接近闭源模型的水平，在 29 个任务上比 RT-2-X（55B）高 16.5%。它的存在让"在 4-8 张 A100 上 LoRA 微调一个通用机器人 policy"成为可能。

π0 / π0.5 / π0.7（Physical Intelligence, 2024-2026）

π0 系列是当前 VLA 的 SOTA。π0.7 架构：Gemma3 4B VLM backbone（含 400M 视觉编码器）+ MEM-style 视频历史编码器 + 860M 参数的 flow matching action expert，总参数约 5B。

核心架构创新：

知识绝缘训练：VLM backbone 用 FAST token 监督（离散文本 token），action expert 通过 attention 读取 VLM 激活，但梯度不回传到 VLM backbone。这保证了 VLM 的语义能力不被 action loss 破坏。
MEM 视频历史编码器：对历史观测做时间和空间压缩，输出固定数量的 token，无论输入多少帧。这使得模型可以处理长时间历史而 token 数不变。
多模态上下文条件化：π0.7 的核心创新是把 prompt 扩展为多模态：子任务指令（语言）、子目标图像、episode 元数据（速度/质量/是否出错）、控制模式。训练时每个组件随机 dropout，推理时可以灵活组合。
子目标图像由轻量世界模型生成：基于 BAGEL 14B 图像生成模型，以当前观测 + 子任务指令为条件，生成"未来几秒后场景应该长什么样"的图像。这让 π0.7 能利用非机器人数据（人类视频、网络视频）的语义和物理概念。
实时动作分块 RTC：训练时模拟 0-12 步推理延迟（对应 50Hz 机器人上 240ms），推理时用 action chunk 平滑执行。

π0.7 的能力边界：开箱即用地做咖啡机操作、叠衣服、扔垃圾袋、折纸箱、削蔬菜等灵巧长程任务，无需任务特定微调；零样本跨具身迁移；可通过语言指令组合新技能。

GR00T N1 / N1.5（NVIDIA, 2025）

GR00T N1 是 NVIDIA 于 GTC 2025 发布的开源人形机器人基础模型。架构：双系统（System 1 / System 2）：

System 2（慢系统）：VLM backbone（Eagle 2 VLM，2B 参数）处理多模态输入（语言、图像、本体感觉），输出 semantic plan 或 latent representation。
System 1（快系统）：Diffusion Transformer（DiT）action head，接收 System 2 的 latent，生成连续动作 chunk。

N1.5 的改进（COMPUTEX 2025 发布）：用 GR00T-Dreams 合成数据 36 小时训练出 N1.5，相比传统人工数据采集数月级的时间缩短约 20 倍。GR00T-Dreams 的流程：Cosmos Predict 世界基础模型 → 输入单张图像 → 生成机器人执行任务的视频 → 抽取 action token → 训练 GR00T。

GR00T-Dreams 的意义：它把"数据采集"从"人摇机械臂"变成"世界模型生成"，这对 Infra 的影响是深远的——你需要的基础设施从"遥操作 fleet"变成"Cosmos/Sim 生成 fleet + action token 提取 pipeline"。

RDT-1B（Tsinghua/上海AI Lab, 2024）

RDT-1B 是双臂操作的扩散 Transformer。架构：1B 参数 DiT，以语言为条件，在 21 个数据集上预训练（包括 OXE、DROID、Agibot World 等）。它的贡献是证明了 diffusion transformer policy 可以在多具身、多任务上泛化，且对超参不敏感。

2.3 世界模型：从 DreamerV3 到 Genie 3

世界模型是"预测环境如何响应动作"的模型，用于训练 policy（在想象中训练）或生成合成数据（用于 VLA 训练）。

DreamerV3：模型基础 RL 的稳定化

DreamerV3（Hafner et al., 2023，Nature 2025 正式发表）是第一个在 150+ 任务上用一组超参达到 SOTA 的模型基础 RL 算法。架构：RSSM（Recurrent State Space Model）+ actor-critic，在想象的 latent 轨迹上训练策略。

核心贡献是稳定化技巧：symlog 预测、free bits、KL balancing、return normalization 等，使 learning 信号在不同域之间稳定。

DreamerV3 的 Infra 意义：模型基础 RL 需要 rollout 与训练的紧耦合——想象 rollout（在世界模型中展开轨迹）是 CPU/GPU 混合负载，训练是 GPU 负载，两者需要异步流水线。这是与 supervised VLA 训练最大的区别。

Genie 系列：可交互世界生成

Genie 1（2024, 11B）：spatiotemporal video tokenizer + autoregressive dynamics model + latent action model，从无标签视频中学习可交互环境。

Genie 2（2024, DeepMind）：能生成长达 1 分钟的一致性 3D 环境。

Genie 3（2025, DeepMind）：第一个实时可交互的通用世界模型。给定文本提示，生成 720p、24 FPS、可持续数分钟一致性的交互式 3D 世界。它能模拟水的物理、光照、自然现象、生态行为等。Genie 3 的技术报告（部分公开）暗示它基于 Veo 3 视频生成模型 + 交互式 action conditioning。

Genie 4（2025-2026, DeepMind）：进一步融合 Gemini 家族——Gemini Omni 锚定真实世界外观和行为，其他 Gemini 模型提供推理以维持模拟的一致性和连续性。Genie 4 是原生多模态的，能同时生成音频、音乐、环境噪声、对话。

Genie 系列对具身 AI 的意义：它是"无限课程"的来源——可以在生成的环境中训练 embodied agent，然后 sim-to-real 迁移。Infra 视角：Genie 3/4 是高吞吐视频生成模型，训练它需要大规模视频-文本-动作对齐数据，推理它需要实时视频生成（24 FPS）的硬件支持。

UniSim：可交互真实世界模拟器

UniSim（Yang et al., ICLR 2024）的目标是"从静态场景生成可交互的真实世界模拟"。架构：Video U-Net，用 interleaved temporal/spatial attention + convolution，以指令（高层如"open the drawer"，低层如"move to x,y"）为条件，生成环境响应视频。

UniSim 的用途：训练高层 VLM planner 和低层 RL policy，都展现显著的 sim-to-real 迁移能力。

V-JEPA 与自监督世界模型

Meta 的 V-JEPA 系列走的是另一条路：不做像素级生成，而是做 latent 空间的预测。V-JEPA 在潜在空间预测被 mask 的视频区域，学到的 representation 对下游控制任务（如机器人抓取）有强迁移能力。V-JEPA 2（2025）开始向具身场景扩展，作为世界模型用于机器人 policy 训练。

2.4 VLA + 世界模型的融合范式

2025 年的明显趋势是 VLA 与世界模型的融合：

π0.7：VLA + 轻量世界模型（BAGEL）生成子目标图像，作为 VLA 的 prompt。
GR00T N1.5：VLA + GR00T-Dreams 世界模型生成合成数据。
Genie 3/4：世界模型 + embodied agent 在其中训练。

融合的核心逻辑：世界模型解决"数据稀缺"问题（生成无限合成数据），VLA 解决"泛化执行"问题（跨任务跨具身的 action 生成），两者结合形成"数据-模型"飞轮。

三、训练与推理 Infra：从 LLM 到具身的迁移与分化

3.1 训练 Infra：混合并行的主流策略

LLM 训练的混合并行（2024-2025 主流配置）：

外层：DP（数据并行）× ZeRO-3（参数/优化器/梯度分片）
中层：PP（流水线并行，如 1F1B、Interleaved 1F1B）
内层：TP（张量并行，沿 head 维切）
特殊：SP（序列并行，Ring/Ulysses，用于长上下文）
MoE：EP（专家并行，all-to-all dispatch/combine）

选型决策树：

模型 < 10B：DP + ZeRO-2 即可，不需要 TP/PP。
模型 10B-100B：DP + ZeRO-3 + TP（TP=8 在单节点内）。
模型 > 100B：DP + ZeRO-3 + PP + TP。
长上下文（> 128K）：加入 SP（Ulysses 优先，大规模用 Ring 或混合）。
MoE：加入 EP，与 TP/PP 正交。

DeepSpeed-Ulysses 的优势：相比 Megatron-LM SP，Ulysses 在相同序列长度下训练快 2.5 倍，支持 4 倍序列长度；与 ZeRO-3 集成后，可以在 64 张 A100 上训练 1M token 序列。

训练框架的对比：

Megatron-LM（NVIDIA）：TP/PP/EP 最成熟，与 NCCL 深度优化，适合 NVIDIA 集群。
DeepSpeed（Microsoft）：ZeRO-3 + Ulysses SP，灵活但需要更多调优。
FSDP2 / PyTorch native：ZeRO-3 的原生实现，易用性最好。
NeMo Framework（NVIDIA）：Megatron + NeMo-Aligner + 推理一体化，适合端到端。

3.2 RLHF / RL 后训练 Infra：Rollout-Verify-Train 循环

RL 后训练（RLHF、DPO、PPO、GRPO、RLVR）的 Infra 与 pretrain 完全不同。核心挑战：需要一个"Rollout-Verify-Train"的紧耦合循环：

1. Rollout：用当前 policy 生成轨迹
   - LLM：生成文本响应
   - VLA：生成动作序列，机器人/仿真器执行
2. Verify：评估轨迹质量
   - LLM：reward model / rule-based / tool-use verification
   - VLA：任务成功判定 / 人工标注
3. Train：用 (轨迹, 奖励) 更新 policy
4. 循环 1-3，直到收敛

这个循环的 Infra 需求：

Rollout 引擎：高吞吐生成（vLLM/SGLang）或仿真执行（Isaac Sim/MuJoCo）。
Verify 引擎：RM 推理（小模型）或人类反馈（RLHF-Aift）或规则判定。
Train 引擎：与 pretrain 类似，但 batch size 小、更新频繁。
编排：Rollout 与 Train 的异步调度、轨迹数据流的 buffer 管理。

关键挑战：rollout 的吞吐必须与 train 的更新频率匹配，否则 policy "漂移"过快导致不稳定。veRL（Berkeley）、NeMo-Aligner（NVIDIA）、RLHF-Kit（字节）等框架都是为了解决这个编排问题。

RLHF 的特殊 Infra 需求：

长序列 rollout：CoT 推理可能生成 32K+ token 的响应，rollout 引擎需要长上下文支持。
多轮 rollout：agentic 任务需要多轮交互，每轮都要存 KV cache 或重计算。
离散化奖励 vs 连续奖励：VLA 的奖励通常是连续的成功率，需要更细致的 credit assignment。

3.3 推理 Infra：vLLM、SGLang 与 TensorRT-LLM

推理引擎的三大主流选择各有侧重：

维度	vLLM	SGLang	TensorRT-LLM
核心优化	内存效率 + 生态广	KV cache 跨请求复用 + 可编程生成	NVIDIA 硬件上的极致性能
关键技术	PagedAttention、continuous batching、chunked prefill	RadixAttention（基数树前缀共享）	编译时优化、kernel fusion
适用场景	通用 LLM 服务	agent 循环、结构化输出、共享前缀	NVIDIA 部署、延迟敏感
量化支持	FP8/INT8/INT4/AWQ/GPTQ/GGUF	类似 vLLM	FP8/FP4/INT4/INT8

vLLM 的 PagedAttention 把 KV cache 按"页"管理，像操作系统管理虚拟内存一样，消除碎片。SGLang 的 RadixAttention 维护一个基数树索引 token 序列，前缀在多次调用间自动共享，这对 agent 循环（同一 system prompt 反复出现）特别有价值。

推理 Infra 的关键优化：

KV cache 管理：PagedAttention、prefix cache、MLA 压缩。
批处理：continuous batching（请求级别动态进出）、chunked prefill（把长 prefill 切成小块与 decode 混合调度）。
低精度：FP8（Hopper）、FP4（Blackwell）、量化感知训练。
投机采样：EAGLE、Medusa、n-gram 等小模型辅助采样。

对应到具身推理：VLA 的推理与 LLM 有显著差异——需要实时性（50Hz-200Hz 控制频率）、多模态输入（图像 + 本体感觉 + 语言）、连续动作输出。这要求推理引擎做专门的优化：action expert 与 VLM backbone 的异构批处理、图像预处理的流水线、RTC 平滑等。

四、云平台 Infra 需求：从训练到具身的全栈挑战

4.1 存储：视频、3D 与空间数据

具身 AI 的存储需求与 LLM 完全不同：

LLM 存储：文本 token 序列，压缩率高，随机访问友好，HDFS/S3 + Parquet 即可。

具身存储：

多模态数据：视频（RGB、深度）、点云、关节状态、力/力矩传感器、语言标注。一段 1 小时的遥操作数据（多摄像头 30FPS）原始大小在 10-100 GB 级别。
3D/空间数据：mesh、SDF、NeRF、3D Gaussian Splatting 场景表示。需要专门的存储格式（如 USD、glTF、OpenUSD）和空间索引。
时序对齐：多传感器数据需要严格时间戳对齐，通常用 ROS bag 或 LeRobot 数据集格式。

存储优化策略：

分层存储：热数据（训练中）在 NVMe/本地 SSD，温数据在对象存储，冷数据归档。
压缩：视频用 H.264/H.265（训练时解码 CPU 开销大）或专用格式（如 TiTok、MAGVIT-v2 token 化）。
索引与检索：基于任务、场景、机器人型号的元数据索引；基于内容相似度的向量检索（用于数据挖掘）。

LeRobot 的数据格式：统一了跨 10+ 机器人平台的数据接口，提供 ACT、Diffusion Policy、π0-Fast 等预训练模型。它的事实标准地位正在形成"具身 data flywheel"的开源基础。

4.2 网络：带宽与延迟的双重要求

训练网络：与 LLM 相似——NVLink（节点内 900GB/s）+ InfiniBand/RoCE（节点间 400GB/s），NCCL 集合通信优化。

具身特有网络需求：

遥操作链路：操作者 ↔ 机器人，延迟 < 50ms，需要稳定的 UDP/WebRTC。
分布式 rollout：多台机器人/仿真器 ↔ 训练集群，需要高吞吐数据上行。
边缘-云协同：机器人边缘推理 + 云端训练/更新，需要模型分发与增量更新机制。

4.3 算力：异构计算

训练算力：GPU（H100/B200）为主，大规模 MoE 需要 all-to-all 通信优化的网络拓扑（如 NVSwitch）。

具身特有算力：

仿真算力：Isaac Sim（GPU 物理仿真）、MuJoCo（CPU 物理仿真）。GPU 仿真吞吐高但成本高，CPU 仿真便宜但慢。
图像预处理：多摄像头输入的 resize/crop/normalize，需要专门的预处理 pipeline。
边缘推理算力：Jetson Orin/Thor，功耗受限（30-100W），算力 100-500 TOPS。

Jetson Thor（2025 发布）：为 robot foundation model 设计，提供高吞吐 on-device 推理和运行时效率。它与 GB200 NVL72 的关系：云端用 GB200 训练，边缘用 Thor 部署，形成云-端一体的 infra 架构。

4.4 调度：从训练任务到具身工作流

LLM 训练调度：Slurm/K8s + gang scheduling，任务粒度是"训练 job"。

具身工作流调度：需要编排多种异构任务——

数据采集 job（遥操作 fleet）
数据预处理 job（视频转码、标注）
训练 job（VLA/世界模型）
评估 job（Isaac Sim 中 rollout）
部署 job（模型分发到边缘）

Viam 等平台开始提供"机器人 fleet 管理到训练数据回流"的端到端能力。NVIDIA 的 Isaac 平台（Sim + Lab + GR00T + Cosmos）正在形成从仿真到数据生成到模型训练到边缘部署的完整 infra 栈。

五、具身场景下的特有 Infra 问题

5.1 数据飞轮：遥操作、自动采集与合成数据

具身 AI 的数据飞轮是核心 infra 挑战。数据来源三层：

第一层：人工遥操作（gold standard）——操作者通过 leader-follower 臂、VR 头显、游戏手柄直接控制机器人，同步记录观测和动作。数据质量最高，但成本极高（每条 episode 需要数分钟人工）。

第二层：自主采集（policy rollout）——用当前 policy 部署，自动采集数据，包含成功和失败 episode。π0.7 大量使用这种数据，通过 episode 元数据（质量、速度、错误）区分好坏。

第三层：合成数据（世界模型生成）——用 Cosmos Predict、GR00T-Dreams、Genie 等世界模型生成视频 + action token。成本最低，规模化最容易，但 sim-to-real gap 需要管理。

数据飞轮的 Infra 需求：

标注流水线：episode 分段、子任务标注、质量评分。HELP 等框架用 VLM 做自动分段和筛选。
数据版本管理：类似 DVC/Git-LFS，但针对多模态时序数据。
隐私与安全：机器人采集的家庭/工业数据涉及隐私，需要脱敏和访问控制。

5.2 Sim-to-Real：仿真环境与域随机化

仿真环境：

Isaac Sim/Lab（NVIDIA）：GPU 加速物理仿真，支持大规模并行环境（数千个环境同时运行），与 GR00T 集成。
MuJoCo：CPU 仿真，精度高但吞吐低。
Genesis（2024）：开源 GPU 物理仿真，试图挑战 Isaac。

域随机化：在仿真中随机化视觉（光照、纹理、摄像机位姿）和物理（摩擦、质量、延迟），训练 policy 对这些变化鲁棒，从而 sim-to-real 迁移。Infra 需求：大规模并行仿真的调度、域参数的采样策略、仿真-真实数据的混合训练。

Real-to-Sim 到 Real：用真实数据重建仿真场景（如 3D Gaussian Splatting 扫描），在重建的仿真中训练，再部署到真实世界。这需要 3D 重建 pipeline 与仿真引擎的深度集成。

5.3 边缘部署：推理优化与算力-延迟权衡

具身边缘部署的核心约束：

延迟：控制频率通常 50Hz-200Hz，每步推理预算 5-20ms。
功耗：机器人电池供电，边缘算力 30-100W。
体积：需要嵌入机器人本体，不能是数据中心级 GPU。

推理优化策略：

模型压缩：量化（FP8/INT4）、剪枝、蒸馏。把 5B π0.7 蒸馏到 1-2B 边缘模型。
异步推理：VLM backbone（慢，100-500ms）与 action expert（快，10-20ms）解耦。VLM 定期更新 semantic plan，action expert 每步快速生成动作。
RTC（Real-Time Chunking）：π0.7 在训练时模拟 0-12 步推理延迟，学习生成平滑的动作 chunk，容忍推理抖动。
KV cache 复用：连续控制中观测历史相似，可以复用前缀 KV cache。

云-端协同：云端负责训练和复杂推理（VLM backbone），边缘负责实时控制。模型通过 OTA 更新，形成"云端训练-边缘部署-数据回传"的闭环。

5.4 RL Rollout 基础设施：仿真集群与真实集群

仿真 rollout 集群：大规模并行 Isaac Sim 实例，每个实例运行一个机器人环境。Infra 需求：GPU 调度（每个 Isaac Sim 实例占 1-2 GPU）、并行环境数与训练 batch size 的匹配、rollout 数据的实时回传。

真实 rollout 集群：多台真实机器人在实验室/部署环境中执行 policy，采集数据。Infra 需求：机器人 fleet 管理、数据回传网络、安全监控（自动停机、人工干预接口）。

HELP 框架（2025）展示了高效的人-机协同 rollout：将高技能遥操作与现场监控/重置分离，减少任务切换，提高交互吞吐量。VLAC-CUT 用 VLM 做 rollout 分段评估，自动筛选 progress-making / failure / idle / recovery 片段，保留有用数据。

5.5 群体学习：多机器人协同进化

Fleet learning 是具身 AI 的终极 infra 挑战：

分布式数据采集：多机器人在不同环境采集数据。
联邦/中心化训练：数据汇聚训练新 policy，或联邦学习保护隐私。
渐进部署：新 policy 逐步推送到 fleet，A/B 测试效果。
持续学习：robot 在部署中持续采集数据，形成永不停止的数据飞轮。

当前的技术水平：Physical Intelligence 已与 Weave（洗衣折叠）和 Ultra（未公开）等公司合作，在真实商业环境中部署 π0 系列模型。这标志着具身 infra 从"实验室"进入"生产环境"。

六、技术趋势判断：未来 12 个月的架构与 Infra 演进

6.1 LLM 架构侧

MLA 将成为长上下文推理的标准配置，但迁移成本需要 MHA2MLA 等方法降低。
MoE + 线性注意力混合将挑战纯 softmax attention 的地位，特别是 1M+ 上下文场景。
FP4 训练（Blackwell）将成为 pretrain 的默认精度，Infra 需要适配新的数值稳定策略。
投机采样与 spec decoding 将从"可选优化"变为"必选配置"，推理吞吐再提升 2-5 倍。

6.2 具身 VLA 与世界模型侧

双系统架构将成为 VLA 的主流：VLM backbone（语义理解）+ diffusion/flow matching action expert（动作生成），π0.7 和 GR00T N1 都验证了这一点。
世界模型与 VLA 的融合将加深：世界模型不仅生成子目标（π0.7），还生成完整训练数据（GR00T-Dreams），甚至直接在想象中训练 policy。
多模态 prompt 将成为标准：语言 + 子目标图像 + 元数据 + 控制模式的组合，让 VLA 能利用更广泛的数据。
跨具身泛化将从"zero-shot transfer"进阶到"few-shot adaptation"：少量新机器人数据即可适配。

6.3 Infra 侧

具身训练 Infra 将从"LLM Infra + 补丁"演进为"专门设计"：需要同时管理文本、视频、3D、动作序列的混合数据管道；需要编排仿真 rollout、真实 rollout、训练、评估的复杂工作流。
数据飞轮将成为核心竞争力：遥操作 fleet、自动 rollout、世界模型生成三层结合的数据 infra 决定具身公司的上限。
云-端协同 Infra 将成型：云端 GB200 训练 + 边缘 Thor 部署的标准化管线，NVIDIA 的 Isaac 全栈正在推动这一趋势。
RL infra 的工程化挑战：rollout-verify-train 的紧耦合循环需要新一代框架，当前 veRL/NeMo-Aligner 等都还在早期。

结语：从"Tokenizer"到"Actuator"的 Infra 演进

LLM Infra 解决的核心问题是"如何把 token 算得更快更便宜"，具身 Infra 解决的核心问题是"如何把物理世界的观测变成 action 并形成闭环"。

这两件事在技术上高度重叠（都是大规模分布式训练 + 推理服务），但在工程上显著分化：

数据的形态：从文本 token 到多模态时序（视频 + 关节状态 + 力觉 + 语言）。
训练的循环：从"pretrain → finetune → deploy"到"rollout → verify → train → deploy → rollout…"的持续循环。
部署的边界：从数据中心到真实物理世界，涉及安全、延迟、功耗、体积的多重约束。

未来的 Infra 工程师需要同时理解 Transformer 注意力的 CUDA kernel 优化和 Isaac Sim 的并行物理仿真，需要同时管理 H100 集群和 Jetson Thor 边缘设备，需要同时设计 vLLM 推理服务和遥操作数据采集流水线。

这不是一个简单的"LLM Infra + 机器人"的叠加，而是一次从数字世界到物理世界的 infra 范式迁移。能够率先构建这一完整 infra 栈的团队（无论是 NVIDIA 这样的平台公司，还是 Physical Intelligence 这样的模型公司，还是 Viam 这样的数据公司），将在具身 AI 的下一个十年占据核心位置。

参考资料：本文引用的主要技术来源包括 FlashAttention-3 论文、MLA 相关论文与解析、DeepSpeed-Ulysses 相关文档、OpenVLA 论文、π0.7 论文、RT-2 相关报道、GR00T N1/N1.5 发布信息、RDT-1B 论文、DreamerV3 相关资源、Genie 系列发布信息、UniSim 论文、LeRobot 生态、vLLM/SGLang/TensorRT-LLM 对比、遥操作与数据采集、机器人数据 Infra 等。