面向读者:理解基本深度学习或软件工程,希望读懂具身模型论文、训练代码和推理系统的工程师。

本文围绕“把蓝色盘子左边的红杯子拿起来”展开,解释模型怎样获得视觉能力、怎样理解指令、怎样生成动作,以及基础设施怎样支撑这条链路。默认读者了解 loss、梯度和优化器,不重复通用机器学习入门。

资料核对日期:2026 年 11 月 19 日。OpenVLA、ACT、原版 π₀ 等用于说明代表性的设计,并非所有 VLA 的统一规范。除明确引用的模型配置外,文中的维度、时域和频率均为教学示例。

阅读导航

想弄清的问题 对应章节
机器人到底观察什么、输出什么? 第 1 章
视觉编码器最开始怎样训练? 第 2 章
图像 token 为什么能接进语言模型? 第 3 章
预训练模型为什么还能联合训练?冻结又是什么意思? 第 4 章
动作输出有没有词表?AR 动作编码是什么? 第 5 章
Action query 和 cross-attention 在做什么? 第 6 章
Diffusion / flow 为什么能生成动作? 第 7 章
数据与 packing 应该怎样理解? 第 8 章
FP8 与“多路 FP8”有什么区别? 第 9 章
推理慢在哪里?reuse 究竟复用什么? 第 10 章
Codegen、Triton、CUDA Graph 分别负责什么? 第 11 章
训练框架、显存和分布式怎样分工? 第 12 章
模型怎样接入真实机器人的闭环? 第 13 章
仿真、强化学习和训练资源怎样连接? 第 14 章
拿到一个陌生 VLA 仓库,应该先看什么? 第 15 章

1. 先把系统看完整:观察、策略、动作与控制器

VLM 是 Vision-Language Model,即视觉语言模型;VLA 是 Vision-Language-Action,即视觉、语言与动作。VLA 这个名字告诉我们模型处理哪些信息,并不规定它一定由三个独立服务串起来。一体化模型中的语言骨干可以同时处理文字与视觉表示,并参与动作生成。OpenVLA 就把视觉特征投影到语言模型的输入空间,再用模型预测动作 token。[1]

为了理解整个系统,可以先写下一个概念表达式:

At=πθ(o≤t, ℓ)A_t = \pi_\theta(o_{\leq t},\,\ell)

其中,o≤to_{\leq t} 表示模型能获得的当前或历史观察,ℓ\ell 是任务指令,πθ\pi_\theta 是策略,AtA_t 可以是一个动作,也可以是未来一小段动作序列。实际模型不一定保留全部历史。

1.1 Observation、state 与 action 不是同一种东西

假设机器人看到桌面上的杯子:

概念 在例子中的含义
Observation,观察 相机图像、关节传感器读数、夹爪状态等模型可获取的信息
State,状态 对系统或环境状态的描述;理论上的完整环境状态通常无法直接全部观测
Proprioception,本体感知 机器人的关节位置、速度、夹爪开合等自身状态信息
Action,动作命令 模型请求机器人执行的控制目标,如末端位移、关节目标或速度
Policy,策略 从观察和任务条件到动作或动作分布的映射
Controller,控制器 根据目标与反馈生成更底层的控制输出,具体边界由系统决定

机器人数据集里叫作 state 的字段,往往只是一个可观测的机器人状态向量,不能直接等同于强化学习理论里的完整环境状态。模型输出的目标关节角,也不等于机器人已经到达那个角度。[2]

1.2 动作数组必须带有物理含义

看到一个数组 [0.02, 0, 0],还无法知道机器人应该怎样运动。它可能表示:

  • 沿基座坐标系的 x 轴移动 2 厘米;
  • 沿工具坐标系的 x 轴移动 2 厘米;
  • 把位置设为某个绝对坐标;
  • 设置某个方向的速度,而不是位移。

因此,理解动作至少需要同时知道:动作类型、单位、坐标系、绝对值或增量、参考时刻、执行周期。这不是外围文档问题,它决定同一串数值在真实设备上的含义。

常见动作空间包括关节空间与末端执行器空间。前者描述各关节的目标位置或速度;后者描述夹爪等末端的位置、姿态或相对运动。位姿包含位置与朝向。末端目标还可能通过逆运动学或其他控制方法转换为关节控制。[3]

绝对位置、相对当前观测的位移,以及相对上一动作的增量,也不能混用。例如一个 chunk 中的 0.01, 0.02, 0.03,如果都相对于同一个起点,最后是偏移 3 厘米;如果是逐步累加的位移,最后是偏移 6 厘米。旋转的组合则通常需要相应的旋转表示与变换,不能照搬这个标量加法例子。

1.3 归一化不是离散化

假设某个位移分量的工作范围是 [−0.05,0.05][-0.05,0.05] 米。为了训练方便,把它线性映射到 [−1,1][-1,1],那么模型预测的 0.40.4 对应 0.020.02 米。

这叫归一化。它仍然可以表示连续值。离散化则进一步把范围划成有限数量的区间,用区间编号表示数值。两者可以组合使用,但不是同一个操作。

如果没有带上归一化统计、单位与动作定义,模型输出即使形状完全正确,也可能执行成错误动作。下面讨论动作头时,默认这些接口已经定义清楚。

2. 视觉编码器最开始是怎样训练的?

先回答最核心的问题:视觉编码器通常先在一个可以大规模构造监督信号的视觉任务上学习表示,再被 VLM 或 VLA 复用。它不需要一开始就接触机器人动作。

需要分开看两个维度:

  • 模型结构:例如 CNN、Vision Transformer,决定如何计算;
  • 训练方法与数据:例如类别监督、图文匹配、自监督,决定学习什么。

ViT 是结构。CLIP、SigLIP、DINOv2 是相关预训练方法或模型系列的名字。一个 ViT 可以通过不同的训练目标获得不同特征。原始 ViT 工作把图像切成 patch,送入 Transformer,并通过大规模图像分类预训练研究迁移能力。[4]

Patch 就是图像块。举例来说,一张 224×224224\times224 的 RGB 图片,如果按 16×1616\times16 分块,就有 14×14=19614\times14=196 个 patch。每块原始数据含 16×16×3=76816\times16\times3=768 个像素通道值,可以通过可学习投影变成固定宽度的向量,再结合位置信息交给 Transformer。这里省略了 class token 等设计。经过多层信息交互后,每个 patch 特征也可能包含其他区域的上下文,而不只是原始小方块里的像素。[4]

2.1 第一条路线:图像分类监督

训练数据可以是“猫的图片—猫”“汽车的图片—汽车”“杯子的图片—杯子”。概念结构是:

x→视觉编码器 Eϕh→分类头类别 logitsx \xrightarrow{\text{视觉编码器 }E_\phi} h \xrightarrow{\text{分类头}} \text{类别 logits}

训练要求最后的类别预测正确,编码器就要形成对分类有帮助的表示。迁移到其他任务时,可以保留编码器,替换或移除原来的分类头。

这里确实有一个类别集合,但它属于分类头。不能因此认为“每一个视觉 token 都是类别表中的一个编号”。下游模型使用的往往是分类头之前的连续特征。

2.2 第二条路线:CLIP / SigLIP 的图文配对训练

设想一个小批次里有三对数据:

图片 与它配对的文字
红杯子的图片 桌上有一个红色杯子
小狗的图片 一只趴着的小狗
汽车的图片 停在路边的汽车

视觉编码器把图片变成向量,文本编码器把描述变成向量。训练希望正确图文组合获得较高匹配分,不匹配的组合获得较低匹配分。

在原始 CLIP 中,一个包含 NN 对图文的批次会形成 N×NN\times N 个配对分数,并在图到文、文到图两个方向使用 softmax 对比目标。原论文中的图像编码器和文本编码器一起从头训练,不要求先准备一个会聊天的 LLM。[5]

SigLIP 保留图文配对的学习思路,改用逐对 sigmoid 目标判断配对关系,避免 CLIP 式的全局 softmax 归一化。它仍然使用不匹配的图文作为负例;这也不意味着分布式实现完全没有通信。[6]

这个例子回答了一个常见疑问:没有人为规定“红色占向量第 3 维、杯子占第 8 维”,模型怎么学?

训练目标约束的是表示之间应该满足的关系,而不是人为指定每个坐标的答案。为了区分红杯子、小狗和汽车,编码器需要保留对任务有用的信息。具体怎样在高维向量中组织这些信息,由训练决定。

还要区分两个“语言模型”:CLIP 里的文本编码器,与后来 VLA 采用的语言骨干,可能是不同网络。视觉表示已和 CLIP 的文本空间对齐,不代表它无需训练就能被任意另一个 LLM 正确理解。

2.3 第三条路线:DINOv2 的图像自监督

如果没有每张图片的类别标签,也没有配套文字,图片自身仍然能构造学习任务。

DINOv2 的核心目标包括两类:图像级任务让学生匹配教师对同一图像不同裁剪产生的表示分布;patch 级任务让学生根据被遮挡的输入,预测相应位置的教师表示。后者的目标是特征分布,不是直接补全 RGB 像素。[7]

可以把直观例子想成:一张桌面照片被裁成不同视图,其中某些区域还被遮住。模型要在这些变化之下学习有用的视觉对应关系,而不是每次都把它们视为毫无关系的新图片。

“教师”也不一定是预先训练好的外部专家。在 DINOv2 大模型的自监督预训练阶段,教师由学生参数的指数移动平均更新;配合分布归一化与正则,避免所有输入都被映射成同一种无区分度的表示。实际发布的小模型还可以通过已训练大模型蒸馏得到,不能把全部 checkpoint 都理解为各自独立从零完成相同训练。[8]

另一类自监督路线是 MAE:遮挡图像的一部分,让模型重建缺失像素。它与 DINOv2 都可以使用遮挡,但预测目标不同,不能只看到“mask”就认为方法一样。[9]

2.4 预训练输出匹配分,为什么后来能取出 patch token?

训练时监督什么,与下游使用哪一层特征,是两个问题。

为了完成分类或图文匹配,编码器内部形成多层图像表示。预训练时,模型可以汇总这些表示得到整张图的特征,再计算类别或匹配分;下游 VLM 可以取出汇总之前的 patch 特征,通过一个新的 projector 接入语言模型。

这类似于保留已经学会提取信息的主体,换一种使用其表示的方式。它不要求把分类分数或最终匹配分当作视觉 token 输入 LLM。

但不能倒过来保证:全局图文匹配训练出来的每一个 patch,天然就是精确物体标签、分割结果或三维坐标。细粒度特征是否满足任务需求,需要下游训练与实验验证。

2.5 放到真实的 OpenVLA 中看

OpenVLA 建立在已训练的 Prismatic VLM 上,其视觉分支结合 SigLIP 与 DINOv2。对应 patch 的特征沿通道维度拼接,再经过 projector。两者提供不同预训练背景下的表示,不能绝对划分成“一个只懂语义,一个只懂几何”。[1]

OpenVLA 的机器人训练也会继续微调视觉分支。加载预训练视觉权重与后续是否冻结,是两个分别决定的事项。

用只说明形状的表达式写,就是:

[B,N,ds]  ∥channel  [B,N,dd]⟶[B,N,ds+dd][B,N,d_s]\;\Vert_{\text{channel}}\;[B,N,d_d] \longrightarrow [B,N,d_s+d_d]

这里增加的是特征宽度,不是直接把 patch 数量变成 2N2N。

可以将视觉能力的来源拆成三个教学阶段:

阶段 主要数据与任务 学习目的
视觉预训练 分类、图文配对或图像自监督 提取可迁移的视觉表示
VLM 训练 图像、问题、描述、答案 让语言模型能利用视觉信息
VLA 训练 观察、任务指令、机器人动作 让视觉与语言表示服务于动作选择

具体项目可以合并阶段、交替训练,或冻结部分模块。这个划分用于理解能力来源,不是每个项目都必须遵守的固定流水线。

3. 视觉 token 为什么能够接入语言模型?

最关键的事实是:Transformer 主体处理的是向量序列。文本 token ID 只是产生这组向量的一种入口。

3.1 文本进入 Transformer 之前,已经变成向量

通常的文本输入过程是:文字先被 tokenizer 转成整数 ID,再通过 embedding 表查成连续向量。

假设一句指令被分成 20 个 token,语言模型隐藏维度为 4096,那么 embedding 的形状可以是:

Xtext∈RB×20×4096X_{\text{text}}\in\mathbb{R}^{B\times20\times4096}

进入 Transformer 后,注意力等运算面对的是向量,而不是中文字形或整数编号。以单个注意力头的示意表达式为例:

Q=XWQ,K=XWK,V=XWVQ=XW_Q,\quad K=XW_K,\quad V=XW_V

Attention⁡(Q,K,V)=softmax⁡ ⁣(QK⊤dk+M)V\operatorname{Attention}(Q,K,V) =\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V

MM 表示注意力掩码。这个运算本身没有规定 XX 的每一行必须由自然语言词表查出。[10]

3.2 Projector 解决接口与可学习映射

假设视觉编码器产生 256 个 patch 特征,每个 1024 维:

Fvision∈RB×256×1024F_{\text{vision}}\in\mathbb{R}^{B\times256\times1024}

语言模型需要 4096 维输入,因此引入 projector,例如线性层或 MLP:

P:R1024→R4096P:\mathbb{R}^{1024}\rightarrow\mathbb{R}^{4096}

投影后视觉输入变为 [B, 256, 4096],可以和 [B, 20, 4096] 的文字 embedding 沿序列维拼接,得到 [B, 276, 4096]。这里暂时忽略特殊 token。

OpenVLA 的公开实现就提供了具体例子:先取得文字 embedding,再插入投影后的图像特征,并通过语言模型的 inputs_embeds 入口进行计算。[11]

下面是表达接口思路的伪代码,不是可直接运行的完整实现:

1
2
3
4
5
6
text_vectors = llm.get_input_embeddings()(text_ids)
visual_features = vision_encoder(images)
visual_vectors = projector(visual_features)

joint_vectors = torch.cat([visual_vectors, text_vectors], dim=1)
outputs = llm(inputs_embeds=joint_vectors)

实际实现还必须处理特殊 token、位置、attention mask、监督标签与缓存。它也要求访问模型内部输入接口;仅有一个接收字符串的聊天 API,并不能据此直接塞入任意 embedding。

3.3 维度对上,不代表语义对上

把一组随机向量变成 4096 维,通常也能让矩阵运算运行,但不能指望语言模型因此看懂杯子。

多模态训练要解决的问题是:给模型一张红杯子的图片和“杯子是什么颜色?”这一问题,怎样通过正确答案的训练信号,让投影后的视觉表示对任务真正有用。

因此,要区分两件事:

  1. 结构兼容:向量维度、位置、掩码等满足输入接口。
  2. 能力适配:模型通过训练学会从这些向量中利用视觉信息。

原始 LLaVA 提供了一个清晰例子:先冻结视觉与语言骨干,只训练投影层;后续视觉指令训练中继续冻结视觉编码器,同时训练投影层与语言模型。这是特定论文的训练方案,不是所有 VLM 的规定。[12]

3.4 “Token”这个词有两种常见用法

用法 是否需要离散 ID 例子
离散 token 需要某种有限符号集合 文字 token、离散动作 token
序列中的连续向量位置 不一定需要 图像 patch 特征、连续动作表示、query 向量

所以“视觉编码器输出 256 个 token”,常常只是说它输出 256 个向量位置。它并不意味着有 256 个物体,也不意味着每个向量都能翻译成一个汉字。

同理,“action token”在不同论文中可能指动作的离散符号,也可能指 Transformer 内部承载连续动作信息的位置。判断时必须看张量类型、输出头与解码过程。

4. 预训练、冻结和联合训练:已有模型为什么还能继续学?

假设选用一个已经训练好的语言模型作为骨干。此时应分别问:它的参数从哪里来?这次训练允许哪些参数更新?

4.1 预训练决定起点,冻结决定更新范围

训练策略 原有骨干参数是否更新 发生变化的部分
冻结骨干,只训练新模块 否 Projector、动作头或其他新增模块
部分微调 部分更新 指定层和新增模块
全参数微调 是 被纳入训练的全部参数
LoRA 等参数高效微调 原有基座矩阵通常冻结 额外的可训练低秩分支

LoRA 可以示意为:

Weffective=W0+αrBAW_{\text{effective}}=W_0+\frac{\alpha}{r}BA

W0W_0 不更新,不代表整个层的行为不变;可训练的 A,BA,B 会改变有效映射。是否将它们合并到权重,以及具体推理开销,取决于实现。[13]

因此,“使用已有 LLM”和“训练时它的权重变化”完全可以同时成立。训练完成过一次,不会把参数变成永久不可修改的常量。

4.2 冻结语言模型,上游 projector 仍然可以训练

设:

z=Pψ(Eϕ(I)),h=Lθ0(z,T)z=P_\psi(E_\phi(I)),\qquad h=L_{\theta_0}(z,T)

即使语言模型参数 θ0\theta_0 固定,损失仍然可能通过 hh 对 zz 的依赖,更新 projector 的参数 ψ\psi。

一个最小例子是 y=3xy=3x:系数 3 固定,并不妨碍改变 xx 来影响 yy。冻结参数与阻断输入的梯度路径,是不同操作。

这也解释了 PyTorch 里两个容易混淆的设置:把参数设为 requires_grad_(False),与在整个模块外包 torch.no_grad(),不具有相同含义。如果还要训练该模块上游的 projector,通常需要保留穿过冻结模块的输入梯度路径。eval() 又是另一回事,它主要改变 dropout 等层的运行行为。[14]

从 infra 看,冻结会减少参数梯度和优化器状态等开销,但不保证整个模块不需要反向计算或激活存储。能节省多少,取决于训练路径。

4.3 既然最终权重会变,为什么不全部随机初始化?

两种路径的起点不同:

Wfinal=Wpretrained+ΔWW_{\text{final}}=W_{\text{pretrained}}+\Delta W

与

Wfinal=Wrandom+ΔW′W_{\text{final}}=W_{\text{random}}+\Delta W'

它们并不是“只要都经过更新,就会自动获得相同能力”。预训练提供已有表示和计算模式;机器人训练在这个基础上学习新的映射。随机初始化则需要从当前数据和训练过程里建立相应能力。

以“蓝色盘子左边的红杯子”为例,预训练可能提供颜色、物体与语言关系的表示基础。机器人数据还需要让模型学会如何依据当前场景决定抓取目标与运动方式。前者不能直接替代后者,但可以作为后者的起点。

这并不意味着预训练永远更优,也不意味着微调一定保留全部语言能力。收益取决于任务、数据、模型规模、预训练覆盖和训练方法;微调也可能造成遗忘。窄场景中的专用小策略,可以采用不同于大规模 VLA 的路线。

更准确的比较问题是:在相同任务、数据和算力预算下,这个初始化是否改善学习效率与最终表现?

4.4 阅读论文时,要问清楚“从零”是哪一层的从零

一个机器人实验里的 from scratch,可能表示没有先做跨机器人数据预训练,但视觉与语言骨干仍然加载了已有权重。也可能只表示某个动作头随机初始化。

例如 OpenVLA 论文的部分 scratch 对照仍然从 Prismatic VLM 开始,只是没有先经过通用机器人预训练。把它当成“完全随机的 LLM 对比预训练 LLM”,就会得出错误因果结论。[1]

看到联合训练配置时,最有用的检查是:加载了哪些 checkpoint、哪些参数可训练、监督信号来自哪里、优化器里到底有哪些参数。

对于“拿一个已有的 DeepSeek 语言模型接上视觉和动作”这样的设想,也应做同样的拆解:明确选用哪个模型、能否访问其 embedding 接口、视觉信息怎样接入、哪些模块参与训练、动作由什么头输出。模型名字本身不能替代这几项架构决策;仅有文本聊天接口,也不等于具备修改模型内部结构的能力。

4.5 联合训练的监督信号可以来自动作

模仿学习中的行为克隆,Behavior Cloning,常用示范数据中的观察与动作,直接训练策略预测示范行为。对有语言条件的策略,可以把样本写成 (o,ℓ,A∗)(o,\ell,A^*)。[15]

动作预测的训练信号可以沿可微计算路径影响视觉 projector、语言骨干或其他被允许更新的模块;不要求语言骨干每次都只接受“下一个文字 token”的监督。是否同时混入图文任务、哪些模块冻结、动作目标采用交叉熵还是连续生成目标,则属于具体训练方案。

5. 动作输出头有没有“动作词表”?

答案取决于输出表示。离散动作模型可以有词表;连续动作模型可以直接输出数值;生成式动作模型还可能输出中间的噪声或向量场。

5.1 路线一:把数值动作编码成离散 token

假设一个教学用动作向量有 7 个分量:三个平移增量、三个旋转增量,以及一个夹爪控制量。实际模型也可能使用关节角、速度或其他定义。

如果每个分量被量化到约 256 个数值区间,可以依次输出 7 个 token,位置决定它对应哪个动作分量。

这不要求建立 2567256^7 大小的词表。可以复用一组数值 token,再通过序列位置表达分量身份。

OpenVLA 的代表性实现使用语言模型词表末尾的一组 token 表示离散动作数值,再解码并反归一化成动作。论文里的“256 bins”适合描述方法思路;若严格复现,仍应检查 tokenizer 对边界、中心和裁剪的具体处理。[16]

这里的 token 更接近“某个分量的数值落在这一档”,通常不是“抓取”“放下”“打开抽屉”这类完整技能。

5.2 AR 描述的是生成依赖

自回归,Autoregressive,缩写 AR,表示按照前面已经生成的内容预测后续内容。例如:

p(a1,…,am∣o,ℓ)=∏i=1mp(ai∣a<i,o,ℓ)p(a_1,\ldots,a_m\mid o,\ell) =\prod_{i=1}^{m}p(a_i\mid a_{<i},o,\ell)

这里的 aia_i 是编码后的动作 token,不一定是某个完整物理时间步。

因此,“AR 动作编码”在口头交流中往往混合了两个问题:动作怎样编码成符号,以及这些符号怎样按顺序生成。应当拆开确认。

离散数值、压缩后的轨迹符号、高层技能,都可以形成离散序列,但各自的物理含义完全不同。AR 本身不规定其中哪一种。

5.3 FAST:动作 token 还可以表示压缩后的序列

逐维逐时刻编码动作 chunk,会让 token 数随着动作维度和时域增长。FAST 采用另一种表示:对动作时间序列做 DCT,再量化、展平,并用 BPE 编码成更紧凑的离散序列。解码时反向恢复动作 chunk。[17]

因此,FAST 的一个 token 不应被简单解释为“第 5 个关节下一时刻的角度”。它可能覆盖编码序列中的一段符号。生成 token 的数量,也不再与物理动作步数一一对应。

这是表示层的优化:它改变模型需要生成的序列。之后仍然可以采用 AR 方式预测这些 token。

5.4 路线二:连续动作头

如果模型直接预测连续动作,可以使用一个把隐藏表示映射到动作维度的输出层:

Rdmodel→RDa\mathbb{R}^{d_{\text{model}}}\rightarrow\mathbb{R}^{D_a}

若并行预测未来 HH 个动作,输出可能是:

A^∈RB×H×Da\hat A\in\mathbb{R}^{B\times H\times D_a}

例如 [32, 20, 7] 可以表示 32 个训练样本,每个样本预测 20 步、每步 7 个动作分量。但仍须结合配置确认语义,不能只凭形状猜测。

这些浮点数如果直接表示动作数值,就不是“动作类别 logits”。Logits 通常指进入概率归一化前的分数;不能把所有浮点输出都叫 logits。

5.5 三类输出的快速判别

输出方式 输出头直接产生什么 后处理 是否必然有动作词表
离散动作 / AR 离散符号的 logits 选择 token,再解码为动作 有对应离散符号集合
连续动作预测 动作坐标或分布参数 反归一化、采样等,视方法而定 否
Diffusion / flow 噪声、去噪目标或向量场等 多步生成得到动作 否

面对陌生模型,先看输出层宽度,再看 loss 和推理后处理。三个位置结合起来,通常就能判断模型究竟在预测什么。

6. Action query 与 cross-attention:动作位置怎样读取观察?

除了把动作符号接在文本后面生成,还可以准备一组专门用于动作预测的位置。

6.1 Action query 是待填充的位置

假设希望一次预测未来 20 个动作,可以准备 20 个可学习的 query。它们通过网络读取观察信息,最终每个位置输出一个动作向量。

直观上,第一个位置负责预测较近时刻,后续位置负责更远的时刻。这些 query 是可学习的内部表示,并不是预先枚举好的“抓取”“抬起”“放下”技能。

ACT 的官方实现就包含 nn.Embedding(num_queries, hidden_dim) 形式的 query,以及将 decoder 表示映射到动作维度的线性头。ACT 还包含其他设计,例如训练中的潜变量建模;这里单独抽出 query 机制帮助理解。[18]

一次前向并行算出 20 个动作,不代表机器人在物理上同时执行 20 个时间步。模型计算的并行性和动作执行的时序是两回事。

6.2 Cross-attention 的 Q、K、V 来自不同位置

自注意力通常让同一组表示产生 Q、K、V。交叉注意力则让一组表示提出查询,另一组表示提供被读取的信息。

例如动作侧产生 Q,视觉和状态侧提供 K、V。若有 20 个动作查询、600 个观察位置,那么单头注意力分数可以具有 [20, 600] 的形状,输出位置数仍然是 20。

这意味着每个动作位置都可以按照当前任务,综合读取观察中的相关信息。注意力矩阵中的权重是模型计算的一部分,不应直接当作可靠的物理解释或因果归因。Transformer 原论文中的 encoder-decoder attention 展示了这种 Q 与 K/V 来自不同序列的基本结构。[10]

视觉与动作之间的融合也不一定显式使用一个独立 cross-attention 层。一些模型会把它们放到同一序列中,通过 attention mask 组织依赖。阅读代码时,需要关注谁能看到谁,而不只看模块名称。

7. 从动作多峰分布到 diffusion / flow

7.1 为什么“直接预测一个平均动作”可能有问题?

设想杯子前面有障碍物,机器人可以从左边绕过去,也可以从右边绕过去。训练数据里两种轨迹都合理,但逐点平均后的轨迹可能穿过障碍物。

这是一个教学例子,用来说明条件动作分布可能具有多个峰。在理想化条件下,用平方误差训练的确定性点预测器倾向于估计条件均值,而条件均值不一定对应某个合理行为。

这不意味着“用 MSE 的方法都不能表示多峰”。Diffusion 与 flow 的训练也可能使用平方误差,但它们在不同噪声条件、生成时间和随机变量下学习不同目标,最终通过生成过程构造动作分布。Diffusion Policy 就以条件扩散方式建模动作,并结合滚动重规划。[19]

7.2 Flow 先预测生成过程中的变化,再得到动作

以下采用与所引用 openpi 实现一致的时间方向:t=1t=1 对应噪声,t=0t=0 对应目标动作。不同论文可以采用相反约定。

给定真实动作 chunk AA 与噪声 ϵ\epsilon,定义:

xt=(1−t)A+tϵx_t=(1-t)A+t\epsilon

沿这条线性路径的目标向量场为:

ut=ϵ−Au_t=\epsilon-A

模型根据观察 oo、任务 ℓ\ell、当前带噪动作 xtx_t 与生成时间 tt,预测 vθ(o,ℓ,xt,t)v_\theta(o,\ell,x_t,t)。推理时从噪声出发,通过若干数值更新走向动作。

用最简单的 Euler 更新示意,就是 xt+Δt=xt+Δt vθx_{t+\Delta t}=x_t+\Delta t\,v_\theta。按照这里的约定,Δt<0\Delta t<0,生成过程从 t=1t=1 走向 t=0t=0。更换时间方向时,目标和更新符号也要保持一致。

这里的 velocity 表示动作张量沿生成时间的变化。假如动作张量的物理语义是关节目标角度,它不会因为网络预测了 velocity,就自动变成物理关节速度。

7.3 训练通常不需要完整运行推理采样循环

π₀ 将预训练 VLM 与专门处理动作的 action expert 结合,利用 flow matching 学习连续动作生成。Action expert 可以理解为承担动作建模的专用网络部分;它不意味着所有视觉、语言和动作位置都共用完全相同的参数。[20]

对所引用的 π₀ 实现,可以把核心区别写成:

阶段 一个样本或请求的主要过程
训练 采样噪声和一个 tt,构造 xtx_t,预测向量场并计算训练目标
推理 从噪声开始,多次预测向量场并更新 xtx_t,得到最终动作 chunk

因此,不能直接把“推理需要 KK 次更新”乘到每个训练样本上,认为训练也必然重复整套 KK 步。

π₀ 的一种工程实现还会在推理时先计算固定的观察前缀并保存 KV,再重复计算变化中的动作后缀。动作输出层把动作侧隐藏表示映射回动作维度。具体训练和采样循环可以在 openpi 的 pi0.py 中核对。[21]

7.4 三种结构,对 infra 提出的要求不同

结构 主要顺序依赖 常见性能关注点
AR 离散动作 后续 token 依赖已生成 token Decode 延迟、KV cache、动作编码长度
并行 chunk 预测 一次前向得到多个动作位置 视觉编码、融合网络、输出时域与计算形状
Diffusion / flow 生成步骤之间存在依赖 每步动作网络成本、迭代次数、固定条件复用

这个表解释了为什么“都叫 VLA”并不意味着可以采用同一套推理优化方案。必须先弄清模型到底重复执行了什么,再决定减少哪部分成本。

8. 数据与 Packing:先把样本组织正确,再让 GPU 少做无用功

8.1 一个动作张量,还不是一份完整的数据定义

第 1 章讨论的动作语义,进入数据工程后就变成了数据契约。即使两份数据的动作张量形状都是 [32, 20, 7],关节角与末端位移、绝对目标与相对增量也不能直接混合。这些差异改变了标签的物理含义,不能靠修改张量维度解决。LeRobot 动作表示文档[3]

因此,工程上应把一条训练样本理解为“数值加解释规则”:坐标系、单位、控制频率、动作参数化、归一化统计、相机身份、时间戳和 episode 边界共同决定它是什么。这里给一个假想错误:两套数据都记录 0.02,前者表示沿机器人基坐标系移动 2 厘米,后者表示某个关节增加 0.02 弧度。把它们拼成同一列,得到的是语义冲突,不是更丰富的训练数据。

8.2 图像、状态与动作为什么分开存

Episode 通常指从一次任务开始到终止或重置的完整交互;trajectory 强调这段交互里的观察、状态与动作序列;rollout 则强调使用策略运行并收集数据的过程或结果,具体用法以项目为准。一次 rollout 可能包含多个 episode。失败、达到时间上限、任务成功,也未必具有相同的终止语义。

视频适合压缩连续图像,表格文件适合读取状态、动作和索引,元数据负责解释它们之间的关系。例如 LeRobotDataset v3 使用 Parquet 保存表格数据、MP4 保存视频,并用元数据记录 episode 与文件中的位置;一个文件可以包含多个 episode,不能默认“一个文件就是一条轨迹”。LeRobotDataset v3 文档[22]

对训练吞吐量来说,这意味着读取数据并不只是从磁盘搬一块连续数组。系统可能还要定位视频、解码目标帧、裁剪图像、选择动作窗口并组装 batch。若 GPU 一直等视频解码,换更快的矩阵乘法 kernel 很难解决问题。应分别观察取数时间、解码时间、主机到设备传输和模型计算,再决定优化缓存、采样方式还是计算本身。

另一个容易遗漏的问题是时间对齐。用时刻 tt 的图像预测哪个动作窗口,需要由采集协议明确:动作是该时刻发出的控制指令,还是随后测得的状态?示例中的 20 步窗口碰到 episode 结束时,必须采用明确的截断、填充和掩码规则,不能接上重置后的下一条轨迹。RLDS 用 is_first、is_last、is_terminal 区分轨迹边界与终止语义,体现了这类元数据的重要性。RLDS 数据格式[23]

8.3 Packing 不是一个固定操作

术语出现的位置 Packing 通常指什么 主要目的
数据加载、SFT、多模态训练 把多个短样本放进较长的计算序列 减少 padding
矩阵乘法 kernel、模型加载 按特定布局重新排列权重或张量 改善访问与计算效率
INT4 等低位宽存储 把多个数的位紧凑放入字节或机器字 减少存储与传输

以样本 packing 为例:假设三个样本分别有 100、200、300 个 token,若都补齐到 300,就需要处理 900 个位置;把有效内容紧凑组织起来,总共只有 600 个有效位置。但独立样本之间仍应保持原本的注意力隔离与监督规则。NeMo AutoModel 用文档编号和累计长度等元数据表达边界,让变长注意力实现知道哪些 token 属于同一个样本。NeMo Packed Sequence 文档[24]

多模态 packing 还必须同步维护图像位置、文本位置、动作标签和 loss mask。仅把几个数组 concat 起来并不够。也不要认为“加了一个很大的稠密 mask”就必然节省所有注意力计算:实际收益取决于后端是否利用了样本边界,而非仍对整个拼接序列执行稠密计算。

9. 精度与“多路 FP8”:少用几位,涉及整条数值计算路径

9.1 FP8 描述数值格式,不描述整个模型的所有状态

FP8 使用 8 位表示一个浮点数。常见 E4M3 与 E5M2 将位数分配给不同长度的指数和尾数:前者相对侧重有效精度,后者提供更大的动态范围。低精度计算还需要缩放,使张量数值落到合适的可表示区间;缩放可以按张量,也可以按更小的分组进行。Transformer Engine FP8 说明[25]

一个直观例子是同时表示 0.001 与 1000。若所有元素共用不合适的缩放,小数可能丢失细节,大数可能溢出。工程上需要同时决定输入如何量化、乘法使用什么格式、累加保留什么精度,以及结果如何交给下一层。“打开 FP8”不能简化为给所有张量统一做一次 dtype 转换。

训练与推理的账也不同。推理主要关心权重、激活、缓存与算子执行;训练还要考虑梯度及优化器状态。因此,某些 GEMM 使用 FP8,并不意味着训练总显存自动缩减到 BF16 的一半,也不意味着归一化、优化器更新等运算全部采用 FP8。

9.2 “多路”可能描述完全不同的机制

“多路 FP8”不是足够明确的标准名称。阅读代码或讨论时,应追问这里说的是多个并发分支、多个设备,还是用多次低精度乘法近似一次较高精度计算。Qwix 中存在明确的 multi-pass residual decomposition:先量化原始值,再量化剩余误差,以保留第一次量化没有表达出来的信息。Qwix 官方实现[26]

下面是帮助理解的示意,A0,A1,B0,B1A_0,A_1,B_0,B_1 均表示已经恢复尺度的低精度近似:

A≈A0+A1,B≈B0+B1.A\approx A_0+A_1,\qquad B\approx B_0+B_1.

其中 A0A_0 表示主要部分,A1A_1 近似表示残差。于是可以用三个乘积近似:

AB≈A0B0+A0B1+A1B0.AB\approx A_0B_0+A_0B_1+A_1B_0.

再加入 A1B1A_1B_1 就多计算一个修正项。这个式子说明的是方法思路,不是对所有 FP8X3、FP8X4 实现的统一规格;具体格式、缩放和累加策略仍要查对应后端。

这里的取舍很具体:更多低精度乘法可能减小误差,也增加了量化、残差处理和累加成本。只有硬件吞吐量、矩阵形状和数据搬运成本合适,整体才可能划算。MXFP8 的分块缩放则是在不同小块使用各自尺度,与“多次乘法求和”属于不同维度的设计。Transformer Engine 的 MXFP8 说明[25]

对 VLA 的工程判断应落在两组测量上:相同输入下耗时和内存减少多少;动作误差以及任务表现变化多少。某个层的数值误差很小,不自动证明长时间闭环执行的结果完全一致。

10. 推理优化:先看计算形状,再判断什么能够复用

10.1 一个机器人请求,也可能产生大矩阵

线性层常可写成:

[M,K]×[K,N]⟶[M,N].[M,K]\times[K,N]\longrightarrow[M,N].

若输入原本是 [B, S, D],展平 batch 与序列维后,MM 可以是 B×SB\times S。因此,请求 batch 为 1,并不意味着 M=1M=1:视觉前缀可能有数百个 token,一次可以处理数百行。矩阵形状、数据重用和内存访问共同影响实际性能,不能只看参数量或 GPU 的峰值算力。NVIDIA 矩阵乘法性能指南[27]

例如,一次处理 600 个观察 token,与自回归生成下一个动作 token,是两种不同负载。前者能够在大量位置之间重用权重;后者新增位置少,读取权重与历史缓存的成本可能更突出。动作 chunk 模型则可能在一次调用中处理 20 个未来位置。这里的并行是计算位置的并行,机器人仍按动作定义的时间顺序执行。

在自回归服务里,prefill 通常指先处理已经给定的输入序列,decode 指随后逐步生成新 token。VLA 中也可能有相似阶段,但 flow 的连续动作迭代不应直接等同于文字 token 的 AR decode。

所谓 compute-bound,是主要受计算吞吐限制;memory-bound,是主要受数据搬运限制。若一个阶段已经在等内存,把理论 FLOPS 翻倍不保证等比例加速。反过来,增加 batch 虽然可能提高吞吐量,也可能增加请求等待,因此优化前应先明确测的是单次延迟还是单位时间处理量。

10.2 Flow 模型为什么会多次运行,但不必重复算整张图

第 7 章已经区分了 flow 的单次训练目标与多步推理采样。以 openpi 的 π₀ 实现为例,推理时先为固定观察前缀建立 KV cache,再多次更新动作后缀,这让两部分的成本可以分开分析。openpi 的 π₀ 实现[21]

可用下面的粗略成本模型理解一次生成:

Tchunk≈Tvision+prefix+K⋅Tsuffix+Tother.T_{\text{chunk}}\approx T_{\text{vision+prefix}}+K\cdot T_{\text{suffix}}+T_{\text{other}}.

这不是实测性能公式,而是用来定位重复计算的拆分。若前缀很重,避免每轮重算前缀很有价值;若后缀已占绝大部分时间,还要继续研究后缀的形状、采样步数和执行开销。这里的流场速度描述生成时间中的变化方向,不自动等于物理关节速度。

10.3 “Reuse 层”需要补上被省略的限定词

Reuse 并不是一个全行业统一定义的标准层名称。如果它出现在某张模型结构图或代码的类名里,需要回到那个实现确定复用的对象与规则。

先看最常见的 KV cache:在满足依赖条件的自回归注意力中,已有位置的 K、V 可以保存下来,后续新位置直接读取它们,避免反复计算历史位置的表示。新位置的 Q 仍然要与相关历史 K 计算注意力,并读取对应 V;缓存不会让这部分工作全部消失。

复用对象 需要问清的条件
AR 历史 KV 历史输入、参数及相应计算依赖是否不变
同次 flow 生成的前缀 KV 前缀是否独立于不断变化的动作后缀
相邻视频帧的视觉特征 哪些位置重算,近似带来多大误差
不同层的 KV 或隐藏状态 模型是否专门设计、训练或校准过
共享权重 共享的是参数,还是实际计算结果
编译结果、CUDA Graph 输入约束是否满足,执行计划能否再次使用

这张表的核心是依赖关系。对于任意缓存,列出产生它所需的输入、位置、注意力范围和参数,再检查它们是否变化。比如指令一直是“拿起杯子”,但指令位置的深层表示可能已经融合当前图像;图像更新后,不能仅凭文本相同就断定这部分深层 KV 不变。

如果只是估计每层都保存 K、V 的缓存容量,可以用 2BLSnkvdhs2BLSn_{kv}d_hs 字节作为粗略表达式:BB 为 batch,LL 为层数,SS 为缓存长度,nkvn_{kv} 为 KV 头数,dhd_h 为每头维度,ss 为每个元素的字节数。系数 2 来自 K 和 V。这是张量元素数量的估算,不包含分页、对齐或其他运行时开销。

同次动作生成中的固定前缀缓存,有具体架构条件和代码依据;跨帧视觉复用通常还要处理场景变化;跨层复用更不能凭“都是 Transformer 层”就任意替换。权重共享也不会自动消除各次调用的计算,因为输入激活仍可能不同。

10.4 FlashAttention、GQA 与 PagedAttention 分别改了哪里

技术 直接处理的问题 不能据此推断什么
FlashAttention 通过分块等方法减少注意力计算的显存读写与中间存储 不等于随意删掉 token,也没有把普通全注意力的计算量变成线性
MQA / GQA 让多个查询头共享更少的 KV 头,减小相应缓存和访问量 不是任意既有模型都能无代价打开的开关
PagedAttention 按块管理动态 KV cache,减少碎片并支持共享 不意味着单机器人、短固定序列也一定获得同等收益

三者作用于不同位置,可以组合,但需要后端兼容。FlashAttention 关注“注意力如何计算”,GQA 关注“模型定义了多少组 KV”,PagedAttention 关注“缓存如何分配与访问”。选型时应先确认瓶颈,再判断哪一种机制直接处理它。FlashAttention 论文[28];GQA 论文[29];PagedAttention 论文[30]

11. Codegen:把张量程序落实为设备高效执行的代码

11.1 为什么数学公式一样,运行时间会不同

考虑 y = silu(x + b) * g。朴素执行可能分别启动加法、激活和乘法 kernel,并在步骤间写出、读回中间张量。如果这些操作可以融合,一个 kernel 就能完成相应计算,减少启动与中间数据搬运。这个示例没有改变模型学到的函数,改变的是执行组织。

Codegen,即代码生成,负责把较高层的张量程序转换成更接近设备的实现。PyTorch 2 的典型路径包含 TorchDynamo 捕获图、AOTAutograd 处理自动微分图,以及 TorchInductor 的后端优化与代码生成。GPU 路径可以生成 Triton kernel,也可以调用已有高性能算子库,不能理解成每个操作都必须重新写成 Triton。PyTorch 2 原始论文[31]

11.2 编译器实际上在决定什么

除了融合,编译器与 kernel 实现还要选择矩阵按多大块计算、每个程序实例处理哪些位置、循环如何排列、数据用什么布局,以及怎样利用寄存器、共享内存和缓存。Triton 的矩阵乘法教程就把分块、内存寻址、程序顺序和自动调优放在同一条优化路径中。Triton 矩阵乘法教程[32]

这也解释了为什么同一段 kernel 在两种形状上可能表现不同:大块能提高重用,却可能浪费边界位置或占用更多片上资源。适合大模型训练的配置,不必然适合 batch 较小的动作解码。

CUDA Graph 处理的是另一个层面:把一串适合捕获的 GPU 操作记录下来,在满足约束时重放,减少 CPU 与驱动的重复提交成本。它不会让随输入变化的数值结果凭空复用,也不必然减少模型的乘加次数。输入地址、动态行为等限制需要按具体接口处理。PyTorch CUDA Graph 文档[33]

11.3 编译加速也有使用边界

如果运行中相机数量、图像分辨率、token 长度或 Python 控制流频繁变化,可能触发不同编译版本、重新编译或图中断。动态形状支持能够缓解部分问题,但不能把所有变化的成本归零。评估时应区分首次编译、预热后的稳定运行以及形状变化时的表现。torch.compile 文档[34]

此外,名称相似的工具可能属于不同层:Triton 语言用于编写 GPU kernel,NVIDIA Triton Inference Server 用于提供模型服务;机器人领域的 Code as Policies 则讨论由语言模型生成控制程序。阅读资料时先确定 codegen 所在的层级,才能判断它优化的是 kernel、服务流程,还是任务程序。Triton Inference Server 架构[35];Code as Policies 项目[36]

12. 训练框架与分布式:把“谁负责什么”分清楚

12.1 框架通常分工协作

一个 VLA 训练工程可以同时包含 PyTorch、LeRobot、Accelerate 和 FSDP,因为它们承担的职责不同。PyTorch 提供张量与自动微分能力;LeRobot 提供机器人数据、策略和训练部署相关组件;Accelerate 帮助准备模型、数据加载与分布式运行环境;FSDP 负责特定的模型状态分片。它们不一定是四个互相替代的选项。LeRobot 文档[37];Accelerate 内部机制[38];FSDP2 教程[39]

实际选型应从约束出发:已有模型代码依赖什么运行时,单卡显存缺口来自参数还是激活,主要通信发生在节点内还是节点间,哪些算子需要编译。仅看到某框架支持“多机多卡”,还不能判断它适不适合当前模型和数据路径。

JAX 是另一条常见的数组计算与自动微分路线,jax.jit 会追踪适合编译的函数并通过编译后端生成可执行计算。PyTorch 与 JAX 的选择会影响模型实现、分片和编译方式;LeRobot、openpi 等面向机器人任务的代码库,则是在相应运行时之上组织数据、模型与训练流程。JAX 即时编译文档[40]

12.2 模型权重大小与训练显存是两本账

先看一个明确假设下的估算:如果每个参数有 2 字节低精度权重、2 字节梯度、4 字节 FP32 master weight,以及两份共 8 字节的 FP32 Adam 状态,总计为 16 字节。对于 7×1097\times10^9 个参数,仅这些状态就约为 112 GB,即约 104 GiB。

这只是按指定配置做的算术,不是所有框架的固定常数。梯度精度、优化器和 master weight 策略会改变结果;激活、临时工作区、通信缓冲和内存碎片还没有计入。DeepSpeed ZeRO 将优化器状态、梯度与参数分别讨论,正是因为训练显存由这些不同部分共同构成。DeepSpeed ZeRO 教程[41]

12.3 分布式策略到底把什么分开了

策略 主要分工 需要评估的代价
DDP 不同副本处理不同数据,再同步梯度 模型状态通常仍在各卡复制
ZeRO-1 / 2 / 3 依次分片优化器状态、梯度、参数 状态分片和参数重建的通信
FSDP 在分片范围内保存训练状态,需要时聚合参数 聚合峰值、预取与计算通信重叠
Tensor Parallel 将层内矩阵等计算分给多卡 层内通信,对互连较敏感
Pipeline Parallel 将不同层放到不同设备 流水线气泡和微批调度
Context Parallel 沿上下文维度分配相关计算 注意力需要的信息交换
Expert Parallel 将 MoE 专家分配到不同设备 token 路由与负载平衡

前几种主要改变副本与状态的组织,后几种直接拆开模型内部的计算。它们可以在合适的框架中组合,具体约束与通信模式需要按实现检查。Megatron Core 并行指南[42]

尤其要避免一个看似直观的推论:八张卡分片,峰值显存就严格变成单卡的八分之一。计算时可能需要聚合当前层的参数,激活也不会自动全部等比例分摊。FSDP 的分组粒度、重分片与预取策略,决定了内存和通信如何交替发生。FSDP2 教程[39]

12.4 显存优化要对准占用来源

如果主要压力是激活,activation checkpointing 可以少保存部分前向中间结果,在反向时重新计算,以额外计算换内存;这与把模型权重写到磁盘的 checkpoint 是不同含义。如果主要压力是参数和优化器状态,则需要评估分片、冻结或参数高效微调。PyTorch Activation Checkpointing 文档[43]

通信库位于这些策略的下一层。例如 NCCL 提供 all-reduce、all-gather、reduce-scatter 等 GPU 通信原语;它不会自行决定某个视觉编码器应该冻结,或哪些层应该分到哪张卡。训练框架决定通信的内容和时机,通信库负责把相应操作高效地执行出来。NCCL 官方说明[44]

面对训练不快、显存不足或多卡扩展不理想时,最有用的第一步是明确资源消耗属于哪一部分:数据供应、模型计算、保存状态、保存激活,还是设备间通信。框架名称提供能力范围,实际 profile 才能告诉我们当前工程应该先改哪里。

12.5 集群调度与模型并行处在不同层

如果训练运行在 Kubernetes 上,还需要决定作业何时获得资源、使用哪类 GPU、同一分布式作业的进程能否成组启动。例如 Kueue 组织工作负载准入、队列与配额;Volcano 的 gang 调度检查作业是否满足成组运行条件。它们不会自动决定张量怎样切分,也不会替代 FSDP 或 NCCL。Kueue 概念文档[45];Volcano Gang 调度[46]

对具身训练来说,除了 learner,还可能有仿真、渲染和 rollout 作业。资源调度需要结合这些阶段的供需关系,这也是第 14 章讨论异步训练系统时的重要前提。

13. 模型输出之后:闭环、动作块与真实时间

前面的模型结构决定“怎样预测动作”,部署系统还必须回答:“这组动作什么时候执行,执行到哪一步时重新观察?”机器人面对的是持续变化的物理世界,时间是动作接口的一部分。

13.1 预测 20 步,不等于连续执行 20 步

Action chunk 是一次预测的一段动作序列。需要区分三个量:预测时域是模型向前预测多少步;执行时域是重新规划前实际执行多少步;动作时间间隔决定每一步对应多长物理时间。

假设动作频率是 20 Hz,每步相隔 50 ms,模型预测 20 步,就覆盖未来约 1 秒。系统可以只执行前 4 步,约 200 ms 后使用新观察重新预测。以上数字均为教学示例。这样既利用了动作块的连续规划能力,又可以根据杯子是否移动、夹爪是否抓牢来修正后续动作。Diffusion Policy[19] 就结合了动作序列预测与滚动时域控制。

这里的“闭环”也有层次:两次视觉重规划之间,外层策略可能没有使用新图像;内层控制器仍可能持续读取关节状态、修正跟踪误差。因此,“执行一个动作块”不意味着整台机器人完全失去反馈。反过来,控制器能准确跟踪目标,也不能保证目标本身仍适合已经变化的场景。

13.2 一台机器人有多种频率

下面是一组教学配置,不代表某个模型的默认设置:

环节 示例频率 每次做什么
摄像头 30 Hz 产生新图像
策略重规划 5 Hz 根据观察生成新的动作块
动作序列时间网格 20 Hz 提供下一个策略目标
底层控制回路 500 Hz 读取状态并更新硬件命令

这些频率不需要相同。控制器可以在相邻策略目标之间执行插值或跟踪,但采用哪一种方式必须与动作含义匹配。例如,位置目标和速度命令就不能机械地套用同一种处理。ros2_control 的 Controller Manager[47] 将实时回路明确组织为读取硬件状态、更新控制器、写入硬件命令。

13.3 需要测量的是观察有多旧

仅报告“模型推理用了 80 ms”并不能描述机器人响应速度。图像还可能经历采集、传输、预处理和排队,预测完成的动作也可能在队列中等待。

可以定义一个直观指标:

观察年龄=t动作开始执行−t对应观察采集.\text{观察年龄}=t_{\text{动作开始执行}}-t_{\text{对应观察采集}}.

测量时应统一时间基准,并记录实际使用的那一帧。否则,用刚到达的时间代替采集时间,可能低估数据已经滞后的程度。对于多传感器输入,还需要检查不同观测之间的时间差。

模型服务应同时关注平均延迟、P95/P99 延迟、观察年龄和动作队列长度。增加批量可以提高吞吐,但等待凑批也可能让机器人依据更旧的场景行动;是否值得,要由整条控制链路的结果判断。

13.4 异步推理为什么需要专门处理动作衔接

异步执行允许机器人一边执行旧动作块,一边计算新动作块。但新结果到达时,机器人已经向前运动了一段时间,新动作块的开头可能已经过期,后续轨迹也可能与旧计划不一致。

Real-Time Chunking(RTC)[48] 将这种衔接建模为动作序列补全:对推理期间已经确定会执行的前缀施加约束,再生成与之协调的后续动作。理解它时要抓住“时间对齐和计划一致性”,而不只是“换成异步线程”。

例如,在前面的 20 Hz 时间网格下,150 ms 推理时间已经对应约 3 步动作。新结果不能简单地从自己的第 0 步开始播放。具体要如何使用已执行、已提交和仍可修改的动作,需要推理算法与控制调度共同设计。

14. 从离线数据走向仿真和强化学习

14.1 Sim2Real 需要面对哪些差异

Sim2Real 指把仿真中获得的能力迁移到真实环境。差异既可能来自图像,也可能来自接触、摩擦、质量、执行器响应和传感器误差。仿真里能拿起杯子,不能单凭这一点推断真机也能成功。

Domain randomization 的思路是,在训练期间有计划地改变环境参数,让策略接触一组变化,而不是只适应一个固定仿真设置。例如,改变纹理和照明可以扩大视觉变化范围;改变质量、摩擦和控制参数可以扩大动力学变化范围。早期的域随机化论文[49] 研究了随机化渲染后的视觉迁移;Isaac Lab 的事件接口[50] 则提供质量、物理材质和执行器参数等随机化能力。

随机化范围需要与任务相关。太窄可能覆盖不了真机差异,太宽则可能把学习预算耗在不合理场景上。它提供的是提高迁移机会的训练方法,效果仍需由真实场景和未见条件下的评估确认。

14.2 RL 系统有三类不同工作负载

从离线模仿学习进入在线强化学习后,训练数据需要由交互持续产生。可以先把系统理解成三种职责:

组件 主要工作 需要观察的资源与指标
Environment 推进物理、渲染、重置任务 环境步耗时、重置耗时、CPU/GPU 和显存占用
Rollout 使用当前策略生成动作并收集轨迹 推理延迟、轨迹产出速度、策略版本
Learner 消费轨迹、更新模型 更新耗时、显存、通信和数据等待时间

同步系统常在收集和训练之间形成等待;异步系统可以让这些工作重叠,但会引入样本滞后:轨迹可能来自若干版本之前的策略。RLinf 的 Async PPO[51] 因此显式记录策略版本并控制样本的版本差。

这也解释了为什么“再给 learner 几张 GPU”不一定让训练更快:如果轨迹产出跟不上,新增计算资源仍然会等待。反之,无限制增加环境数量,也可能把瓶颈转移到渲染、策略推理或数据传输上。先分解各阶段耗时和排队位置,再决定资源分配,通常比只盯总 GPU 利用率更有解释力。

15. 实际打开一个 VLA 仓库,应该按什么顺序读

阅读仓库时,可以沿着一条真实样本的路径推进。下面的顺序既适合学习,也适合排查问题。

第一步,读动作接口和数据变换。 确认每个分量的单位、坐标系、绝对或相对含义、夹爪约定、采样间隔,以及归一化统计量从哪里加载。再检查 episode 边界、相机顺序和时间对齐。先把这些契约读明白,才知道网络到底在学什么。

第二步,记录关键张量的 shape。 从图像、状态和文本开始,依次记录视觉特征、融合序列、动作头输入和输出。形状相同不代表语义相同,但形状不符合预期通常能迅速暴露接线错误。

第三步,核对初始化与可训练参数。 分别记录视觉编码器、骨干、projector 和动作模块从哪里加载权重,哪些被冻结,哪些使用 LoRA,哪些从随机初始化开始。不要仅凭脚本名中的“fine-tune”推断具体训练范围。

第四步,对照训练路径与推理循环。 找到训练目标和预测对象,再数清推理时哪些模块只执行一次、哪些重复执行。例如,openpi 的 π₀ 实现[21] 将前缀计算与动作采样迭代分开。理解重复计算的位置,才能判断应该优化视觉编码、前缀处理,还是动作生成循环。

第五步,沿日志定位瓶颈。 优先回答具体问题,而不是先挑一种优化技术:

观察到的问题 首先检查什么
动作方向或尺度明显不对 坐标系、单位、增量定义和反归一化
离线预测看似正常,真机动作滞后 观察时间戳、排队、动作块索引和执行延迟
GPU 经常等待 数据解码、CPU 预处理、传输或环境产出速度
推理单次很慢 分阶段计时,以及 AR/flow 循环内的重复工作
异步训练吞吐提高,学习却变差 行为策略版本、样本滞后和更新节奏

这套阅读顺序把动作语义、张量接口、训练配置和运行时行为连在一起。完成这些检查后,再讨论更低的精度、更激进的缓存或更多 GPU,才知道优化改变了什么,也能判断它是否改善了机器人实际完成任务的能力。

附录:术语速查

这张表是正文的检索入口。每个术语的实现边界、例子和参考资料,见对应章节。

术语 一句话理解 首先避免的误解
Backbone 被多个下游任务复用的主要特征与计算网络 骨干预训练过,就永远不能更新
VLM / VLA 视觉语言模型 / 进一步处理动作的模型 一定是三个独立 API 串联
Patch 图像被划分出的局部块 一个 patch 就是一个完整物体
Visual token 视觉序列中的特征位置 必须对应词表中的某个词
Projector 将一组特征映射到另一个输入空间的可学习模块 只要维度一致,语义自动兼容
Alignment 通过任务训练让不同表示能协同工作 每个图像向量都要等于某个词的 embedding
Pretraining 在当前任务之前学到的参数初始化 与冻结是同一件事
Freeze 训练期间不更新指定参数 模块一定不需要反向计算
LoRA 用可训练低秩分支修改有效映射 基座矩阵不变,整个模型行为也不变
Action head 将隐藏表示转换成动作相关输出的模块 输出必然是动作类别 logits
AR 后续生成依赖此前已生成内容 每个 token 必然对应一个物理时间步
Action query 用于读取条件并预测动作的内部查询位置 预先列好的技能编号
Action chunk 一次预测的一段动作序列 必须执行完整段后才能重新观察
Flow matching 学习生成过程中随时间变化的向量场 Flow velocity 就是物理运动速度
Episode 一次开始到终止或重置的交互单元 必然对应一个独立文件
Packing 根据语境压紧样本、调整布局或紧凑存位 一提 packing 就一定是在量化
FP8 一类 8 位浮点表示与相关计算方案 全部训练状态都自动变成 8 位
Multi-pass FP8 用多次低精度计算组合近似更高精度结果的一类方法 必然等于多卡并行,或必然更快
KV cache 保存可复用位置的键和值 输入或依赖变了,缓存仍然有效
Prefill / decode 处理已知输入 / 逐步生成新 token 任意 VLA 的动作生成都与文字解码相同
Codegen 将张量程序转换为设备可执行的代码 仅仅把 Python 换一种语法写一遍
CUDA Graph 记录并重放符合条件的 GPU 操作序列 自动复用上次推理的数值结果
FSDP / ZeRO 分摊训练状态、在需要时通信取得所需数据 每卡峰值显存严格等于总量除以卡数
Rollout 用策略与环境交互并收集结果 与 learner 的训练更新是同一个阶段
Sim2Real 将仿真中获得的能力迁移到真实环境 仿真成功就证明真机成功

参考资料

以下以原始论文、作者代码和官方文档为主。正文中的教学数组、时间与显存示例用于解释机制,不是未经说明的模型实测结果。带有 main、latest 或默认版本的代码与文档会继续变化,复现工程时应另外固定提交与版本。

  1. OpenVLA: An Open-Source Vision-Language-Action Model,重点参见第 3 节与微调实验。

  2. OpenAI Spinning Up:Key Concepts in RL。

  3. LeRobot:Action Representations。

  4. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale。

  5. Learning Transferable Visual Models From Natural Language Supervision(CLIP),第 2 节。

  6. Sigmoid Loss for Language Image Pre-Training(SigLIP)。

  7. DINOv2: Learning Robust Visual Features without Supervision,第 4 节及第 5 节。

  8. DINOv2 官方 Model Card:训练目标与蒸馏配置。 同时参见 DINOv2 原论文第 4 节的教师更新与第 5 节的模型蒸馏。

  9. Masked Autoencoders Are Scalable Vision Learners(MAE)。

  10. Attention Is All You Need,注意力与 encoder-decoder attention。

  11. OpenVLA 官方模型实现:modeling_prismatic.py,多模态 embeddings 与动作预测。

  12. Visual Instruction Tuning(原始 LLaVA),第 4.2 节的两阶段训练。

  13. Hugging Face PEFT:LoRA 概念说明。

  14. PyTorch:Autograd mechanics,requires_grad、no_grad 与 evaluation mode。

  15. imitation:Behavioral Cloning。

  16. OpenVLA 官方实现:ActionTokenizer。

  17. Physical Intelligence:FAST: Efficient Robot Action Tokenization。

  18. ACT 官方实现:DETRVAE,query embedding 与动作输出头。

  19. Diffusion Policy 官方项目页。

  20. π₀: A Vision-Language-Action Flow Model for General Robot Control。

  21. Physical Intelligence openpi:pi0.py,训练目标、动作投影与采样循环。

  22. LeRobotDataset v3 文档。

  23. RLDS 数据格式。

  24. NeMo Packed Sequence 文档。

  25. Transformer Engine FP8 说明。

  26. Qwix 官方实现。

  27. NVIDIA 矩阵乘法性能指南。

  28. FlashAttention 论文。

  29. GQA 论文。

  30. PagedAttention 论文。

  31. PyTorch 2 原始论文。

  32. Triton 矩阵乘法教程。

  33. PyTorch CUDA Graph 文档。

  34. torch.compile 文档。

  35. Triton Inference Server 架构。

  36. Code as Policies 项目。

  37. LeRobot 文档。

  38. Accelerate 内部机制。

  39. FSDP2 教程。

  40. JAX 即时编译文档。

  41. DeepSpeed ZeRO 教程。

  42. Megatron Core 并行指南。

  43. PyTorch Activation Checkpointing 文档。

  44. NCCL 官方说明。

  45. Kueue 概念文档。

  46. Volcano Gang 调度。

  47. ros2_control 的 Controller Manager。

  48. Real-Time Chunking(RTC)。

  49. 域随机化论文。

  50. Isaac Lab 的事件接口。

  51. RLinf 的 Async PPO。