Learning to Act from Actionless Videos through Dense Correspondences

1. 论文速览

难度评级：★★★★☆。需要同时理解扩散视频生成、光流/dense correspondence、相机投影几何、机器人 motion primitive 和 learning from observation 的实验协议。

核心贡献清单

• 无动作标签动作推断：作者提出用视频帧间 dense correspondences 推断对象或相机的刚体变换，再转成动作，因此目标任务视频不需要动作标注。
• 跨任务、跨环境展示：同一思路用于 Meta-World 桌面操作、iTHOR 导航、Visual Pusher 人类视频到机器人推物，以及 Bridge/Panda 真实机器人设置。
• 高效视频策略建模实现：论文提供视频策略模型代码框架，并通过 U-Net、factorized spatial-temporal block、first-frame conditioning 等设计，在小型环境数据上用 4 张 V100 一天内训练。

Figure 1: 论文 teaser。作者展示 AVDC 在 manipulation、navigation 和 real-world manipulation 中只依赖 synthesized video 与 dense correspondence 来落地动作。

2. 动机

2.1 要解决什么问题

机器人学习的常见瓶颈是状态和动作空间高度依赖 embodiment。折布、倒水、pick-and-place、导航需要的状态表示和动作接口都不同；如果策略学习要求每个任务都有专家动作序列，那么数据采集成本会随机器人和场景数量迅速增加。

作者抓住了视频数据的通用性：RGB 视频可以记录“状态如何变化”，并且互联网上和实验室里都更容易收集。但是视频本身没有告诉机器人应该执行哪条关节轨迹或末端执行器动作。本文的问题就是：能否只从 RGB 视频学到一个可执行策略，在部署时再把视频变化翻译成当前机器人动作。

2.2 已有方法的局限

• 直接行为克隆需要动作标签：BC baseline 可以访问 Meta-World 的 15,216 个和 iTHOR 的 5,757 个 labeled frame-action pairs，但这些标签正是本文方法不使用的数据。
• 视频规划仍缺动作落地：UniPi 类方法把 policy prediction 表述为 text-conditioned video generation，但需要 task-specific inverse dynamics model 从视频反推动作，仍然依赖动作标注。
• 端到端 flow diffusion 不稳：作者尝试直接生成 optical flow，但认为光流场稀疏且缺乏普通图像那样的空间/时间平滑性，扩散模型直接拟合 flow distribution 不如“两阶段：先生成 RGB 视频，再用 GMFlow 估计光流”。
• 计算成本与代码可得性：作者指出最接近的 UniPi 训练成本超过 256 TPU pods，且源代码可得性有限；本文把高保真视频策略训练压到小型数据集上 4 GPU 约一天。

2.3 本文的解决思路

AVDC 的高层思路是“先想象未来，再几何化动作”。给定当前 RGBD observation 和文本目标，模型生成未来 8 帧视频；GMFlow 在相邻生成帧之间输出 dense correspondence；初始深度和相机内参把像素点提升到 3D；最后通过优化恢复对象或场景的刚体变换，并用现成 grasp、push、IK、navigation action mapping 把变换转成动作。

3. 相关工作梳理

4. 方法详解

4.1 整体 pipeline

Figure 2: AVDC 的四步框架：输入 RGBD + 文本目标，生成 imagined execution video，估计相邻帧光流，把光流和初始深度转换为目标物体的 $SE(3)$ 变换，再映射为机器人命令。

1. 视频生成：条件扩散模型学习 $p(\textit{img}_{1:T}\mid \textit{img}_0,\textit{txt})$，实验中 $T=8$。输入当前帧和文本描述，输出未来执行视频。
2. 光流估计：用 GMFlow 对每对相邻生成帧预测 optical flow。每个像素的 flow 是 dense correspondence，表示这个点在下一帧移动到哪里。
3. 几何恢复：用初始深度图和相机内参把初始像素点转成 3D 点；再找一个刚体变换 $T_t$，使变换后的 3D 点投影位置尽量匹配光流追踪到的 2D 点。
4. 动作执行：固定相机场景下，恢复目标物体变换并转成 grasp/push subgoals；导航场景下，把场景变换取逆得到相机/机器人运动，再映射为 MoveForward、RotateLeft、RotateRight 或 Done。

4.2 文本条件视频扩散模型

扩散模型的目标是从初始图像和文本条件下生成未来帧。论文写出的训练损失为：

架构上，作者从 Dhariwal & Nichol 的图像扩散 U-Net 出发扩展到视频。为增强与初始帧一致性，他们把条件帧 $\textit{img}_0$ 在 RGB 维度拼接到每个未来帧，而不是只在时间轴前面加一帧。ResNet block 内使用 factorized spatial-temporal convolution：先对每个时间步做空间卷积，再对每个空间位置做时间卷积，替代昂贵的完整 3D convolution。

Figure 3: 视频扩散模型的 U-Net 架构。虚线是 residual connection。

4.3 从光流和深度恢复动作

在固定相机的物体操作任务中，令目标物体初始 3D 点集为 $\{x_i\}$，相机内参为 $K$，$T_t$ 是第 $t$ 帧相对于初始帧的物体刚体变换。投影关系为 $K T_t x_i = (u_t, v_t, d_t)$，对应 2D 点是 $(u_t/d_t, v_t/d_t)$。GMFlow 给出点 $x_i$ 在第 $t$ 帧的追踪像素 $(u_t^i, v_t^i)$，因此作者优化：

4.4 不同环境中的动作映射

4.5 训练和推理要点

5. 实验

5.1 Baselines 和 variants

5.2 Meta-World 桌面操作

设置：11 个 Sawyer 机械臂操作任务，每个任务 3 个相机位，每个相机位 5 条 demonstrations，总共 165 个视频。方法和 variants 使用 ground-truth target object segmentation mask；BC baseline 使用动作标签。评估为每个任务、每个相机位 25 个 seeds 的平均成功率。

Figure 4: Meta-World qualitative result。作者展示生成视频、光流、当前/下一 subgoal 和执行轨迹。

Figure 5: 最大 replanning 次数越多，多个视角下成功率越高。作者用它支持闭环重规划策略。

5.3 iTHOR 目标导航

设置：12 个目标物体，分布在 4 类房间；每个时间步可执行 MoveForward、RotateLeft、RotateRight、Done。成功标准是目标物体进入视野并在 1.5m 内，或在正确状态预测 Done。每个房间 3 种物体，每物体 20 episodes。

作者解释：BC-R3M 比 BC-Scratch 更差，可能因为 R3M 预训练在机器人操作任务上，对视觉导航不适合。AVDC 的中间视频可以显示 agent 导航到目标，光流再容易映射为移动或旋转；无 flow 时表示已经找到目标并选择 Done。

Figure 6: iTHOR qualitative result。生成视频、flow 和动作推断对应到电视导航任务。

5.4 跨 embodiment：人类视频到机器人推物

Visual Pusher 实验只用 198 个 actionless human pushing videos 训练视频扩散模型，U-Net 架构与 Meta-World 相同，训练 10k steps；随后在模拟机器人 pushing 任务上 zero-shot 测试，不做 fine-tuning。结果是 40 次运行中 90% 成功率。

Figure 7: Visual Pusher。AVDC 从人类演示中生成 video plan，再把 dense correspondence 变成机器人动作。

5.5 Bridge 到真实 Franka Panda

Bridge 数据集含 33,078 条 WidowX 250 厨房任务 teleoperation videos，无深度。作者先用 Bridge 训练视频生成模型，再在自己的真实桌面环境中用 20 条人手示范视频 fine-tune。真实设置使用 Franka Emika Panda 和固定安装的 Intel Realsense D435 RGBD camera。

主文强调模型能生成视频、预测光流、识别目标并推断动作；附录给出更具体失败分析：真实实验 10 次测试中失败 8 次，失败原因 75% 来自 video diffusion model 生成错误 plan（选错物体或放错目标），25% 来自生成视频不连续，例如中间帧物体消失 附录: real-world failure mode。

Figure 8: Bridge 预测的当前和下一 subgoal。

Figure 9: Franka Panda 执行示例，底部显示当前和下一 subgoal。

5.6 附录补充实验

Figure 10: Language Segment-Anything 的成功和失败 mask 示例。

Figure 11: First-frame conditioning 与 text encoder ablation。论文用最后帧 MSE 评估生成质量。

6. 复现信息汇总

6.1 数据与评估协议

6.2 模型超参

所有模型公共设置：dropout=0，num_head_channels=32，train/inference timesteps=100，training objective=predict_v，beta_schedule=cosine，loss_function=l2，min_snr_gamma=5，learning_rate=1e-4，ema_update_steps=10，ema_decay=0.999 附录: Video Diffusion Model。

6.3 Perceiver 文本聚合器

6.4 硬件与时间

• 训练硬件：4 x V100 32GB。Meta-World 约 24 小时训练 165 videos；iTHOR 约 24 小时训练 240 videos；真实实验约 48 小时 Bridge pretraining + 4 小时 human-data fine-tuning。
• 推理硬件：RTX 3080Ti。Meta-World 单轮 planning 中，video generation 约 10.57s，flow prediction 每对帧约 0.28s，action regression 约 1.31s，action execution 约 1.53s。
• 代码：论文附录说 supplementary zip 中包含 ./codebase_AVDC；项目页提供 GitHub 仓库 flow-diffusion/AVDC。

7. 分析、局限与边界

7.1 这篇论文最有价值的地方

按论文自己的实验与方法设计，最核心的价值是把“无动作标签视频”到“可执行动作”之间缺失的一环显式拆出来：视频模型只负责生成未来视觉状态，dense correspondence 和几何优化负责把状态变化转换为可执行变换。这个拆分让方法能使用 RGB-only demonstrations 训练，同时把动作恢复交给 depth、flow、mask、IK、motion primitive 等较成熟模块。

7.2 结果为什么站得住

结果的支撑主要来自三个层面。第一，Meta-World 表格包含多个动作标签 baseline 和多个 AVDC variants，Full 版本比 No Replan 和 Flow 版本都高，支持“replanning + 两阶段 RGB-to-flow”设计。第二，iTHOR 任务换成导航，动作空间和物体操作完全不同，但同一个 correspondence-to-transform 逻辑仍能超过两个 BC baseline。第三，附录 ablation 暴露了分割、first-frame conditioning、DDIM 步数等工程变量的影响，没有只报告主方法成功案例。

7.3 作者自述局限

• 遮挡：机器人手臂遮住物体大部分区域时，算法可能丢失物体 track。
• 光流脆弱性：快速光照变化或大幅姿态变化会让 optical flow prediction 失效。
• 接触信息缺失：真实 manipulation 需要 grasp 或 contact surface，而这些信息不能直接从不同人手和机器人手的视频中转移。
• 力信息缺失：RGB 视频没有 force information，作者建议未来用真实交互学习或 fine-tuning 来补足。
• 真实实验失败：附录报告真实 Panda 10 次测试失败 8 次，其中 75% 由于视频模型计划错误，25% 由于生成视频不连续。

7.4 适用边界