Veo-Act: How Far Can Frontier Video Models Advance Generalizable Robot Manipulation?

1. 论文速览

• 难度评级：★★★★☆。需要理解视频生成模型、逆动力学模型、VLA 策略、机器人控制闭环与实验评估指标。
• 关键词：视频生成模型、机器人操作、逆动力学模型、VLA、层级控制、dexterous manipulation。
• 核心贡献 1：论文检验了一个具体问题：在零人工示范设定下，今天的前沿视频生成模型能把机器人操作推进到什么程度。这意味着论文不是只提出架构，而是先实验性评估“视频模型 + IDM”路线的上限。
• 核心贡献 2：论文发现 Veo-3 可以生成大体正确且遵循指令的任务级轨迹，但低层接触控制精度不足。这意味着视频模型更适合作为高层 motion prior，而不是直接替代控制策略。
• 核心贡献 3：论文提出 Veo-Act，把视频模型作为高层规划器，把 VLA 作为低层执行器，并用多头 IDM 的 gate 信号决定何时切换。这意味着系统试图保留视频模型的泛化能力，同时利用 VLA 的反应式接触控制能力。

2. 动机

2.1 要解决什么问题

论文关注的是开放环境中的泛化机器人操作：机器人需要在不同物体几何、语义指令和干扰物场景下完成抓取与放置。现有 VLA 模型依赖大规模机器人数据，并且从 VLM 转成 VLA 时需要引入动作模态；论文指出这会使预训练 VLM 的泛化知识难以完整保留。

论文构造的失败场景包括：目标物体不在腕部相机视野内、存在外观相似的干扰物、以及非目标物体位于机械臂经过路径上。这些场景不是单纯考察“能不能抓”，而是考察策略是否能在视觉、语义和路径干扰下仍然遵循目标指令。

2.2 已有方法的局限

• VLA 路线：RT-2、OpenVLA、$\pi_0$、$\pi_{0.5}$ 等模型把视觉语言输入映射到动作，但动作模态的引入可能削弱 VLM 预训练知识的保留；论文用这个解释 VLA 在语义混淆和分布变化下的失效。
• 视频模型 + IDM 路线：该路线保持视频模型的原生输入输出接口，能较好保留视频模型的泛化能力；但生成视频在接触丰富的低层物理交互中仍不够精确，IDM 将视觉误差转为动作后会放大控制误差。
• 单一路线的矛盾：VLA 擅长低层闭环接触但语义泛化会受限；视频模型擅长生成大体正确的任务级轨迹但低层控制不稳定。Veo-Act 的动机就是把两者分工。

2.3 本文的解决思路

高层由 Veo-3 根据初始图像和语言 prompt 生成完成任务的视频轨迹；中间由多头 IDM 把帧间变化转换为动作片段，并预测交互 gate；低层执行时，系统默认跟随视频规划动作，当 gate 表明进入接触交互阶段时，切换到 VLA 策略执行精细操作，之后可切回剩余规划队列。

Figure 1：VLA、Video model + IDM、Veo-Act 三种控制管线对比。

3. 相关工作梳理

3.1 论文自述的相关工作

3.2 直接前作对比

4. 方法详解

4.1 方法概览

Veo-Act 的数据流为：初始观测 $I_0$ 与任务 prompt → Veo-3 生成未来帧序列 $I^{*}_{0:n}$ → 多头 IDM 对相邻帧做逆动力学，输出动作片段 $a^{*}_{0:n-1}$ 与 gate 信号 → smoother 得到 $\bar{a}^{*}_{0:n-1}$ → 执行时从动作队列逐步 pop；如果实时 gate $G_t$ 持续高于阈值 $\tau$，切换到低层 VLA 策略 $\pi_{\mathrm{VLA}}$；gate 降低后，剪掉已过交互区间并恢复规划队列。

Figure 2：层级规划与控制 pipeline。原文 PDF 图已转换为 PNG。

Figure 3：pure IDM、一次切换、完整 Veo-Act 三种执行轨迹对比。

4.2 方法演变脉络

4.3 核心设计与数学推导

Figure 4：多头 IDM 训练流程。

附录图：smoother 对一个动作维度的处理示例。

4.4 实现要点（面向复现）

Hierarchical Veo-Act inference
1. reset environment and sample task
2. build video-generation prompt from task
3. generate future frames I*_{0:n} with Veo-3
4. run IDM.action over generated frames to get a*_{0:n-1}
5. smooth actions and enqueue them into Q
6. for each real timestep:
   - observe current image/state
   - compute gate G_t = IDM.gate(I_{t-1}, I_t)
   - if gate stays low: execute next planned action from Q
   - if gate stays high: execute low-level VLA action
   - if gate returns low: prune high-gate queue segment and resume plan

5. 实验

5.1 实验设置

训练配置

5.2 主要结果

论文汇总：仿真实验的 Experimental 条件下，baseline overall success 为 22/90 = 0.24，Veo-Act 为 62/90 = 0.69；仿真+真实所有 overall success 汇总，baseline 为 102/228 = 0.45，Veo-Act 为 182/228 = 0.80。

仿真成功率：黄色为 instruction-following，绿色为 overall。

真实机器人成功率。

5.3 消融实验

腕部相机不可见设置上的消融结果。

5.4 补充实验（来自附录）

• 四类详细设置：附录给出 invisible object、pass-by、similar-object distractors、richer semantics 的定性图示，并把这些内容补充为实验设置说明。
• Pure IDM 结果：附录报告 pure IDM 在同协议下的结果，用于隔离视频先验 + IDM 本身的能力；正文方法部分已把 pure IDM 作为 variant 解释。
• Failure analysis：附录列出实验设置中的失败类型，作为 §6 的局限与边界信息来源。
• Action smoother 可视化：附录展示平滑前后单个动作维度，说明 smoother 的实际效果。

附录设置 1：invisible object condition 的 control 与 ours。

附录设置 2：pass-by interaction。

附录设置 3：similar-object distractors。

6. 分析与讨论

6.1 论文已给出的结果分析与解释

• 论文解释 baseline 在 Experimental 条件下系统性下降，说明腕部相机视野、相似物干扰和 pass-by 干扰确实暴露了 VLA 的 instruction-following failure modes。
• 论文把 Veo-Act 的提升归因于视频模型生成的大体正确任务级轨迹，以及层级切换在接触阶段提供的闭环恢复能力。
• 论文指出 multi-head 设计提高 overall success，原因是动作预测和 interaction detection 联合学习更有利于 stage switching 和端到端执行。

6.2 作者自述的局限性

论文正文与结论中明确指出，当前视频模型还不能准确完成多数低层接触丰富的操作：Veo-3 + IDM 可生成大体正确轨迹，但低层控制精度不足，尤其在物理接触阶段。论文也指出这一路线受底层视频生成模型保真度约束，在灵巧操作这种高维动作空间和多点接触动力学场景中限制更明显。

附录 failure analysis 被纳入这里：失败主要对应 confounded 设置中目标辨识、路径干扰、接触执行和低层切换等环节。由于论文没有在正文中把这些失败扩展为新方法建议，本报告只客观记录其作为适用边界。

6.3 论文中明确写出的适用边界与讨论

• 适用条件：视频模型能生成近似正确任务级轨迹，IDM 能从帧间变化恢复可执行动作，低层 VLA 能处理接触阶段。
• 不适用或风险场景：视频预测在接触动态中明显不准确、目标/容器关系发生生成错误、gate 检测不稳定导致过早或过晚切换。
• 未来趋势：结论认为随着视频生成模型持续进步，视频模型可成为泛化机器人学习中的有价值组件；这被表述为论文总结，而非本报告的额外建议。

自验收