OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation

1. 论文速览

难度评级：★★★★☆。需要理解 diffusion policy / diffusion transformer、VAE/implicit neural representation、多模态融合、触觉传感器数据表示和真实机器人 imitation learning 实验设计。

关键词：Visuo-Tactile ManipulationWorld ModelContact-Rich ManipulationTactileVAEReflexive Control

核心贡献清单

• OmniViTac 数据集。21,879 条同步轨迹、86 个任务、126 个物体、六类物理接触模式；意义是把数据规模、任务多样性和触觉-视觉-动作时间对齐同时作为训练世界模型的基础。
• OmniVTA 方法框架。把触觉表示学习、视触觉世界模型、接触感知自适应融合和 60 Hz 闭环触觉控制放入统一 pipeline；意义是让触觉既参与预测，也参与策略生成和执行纠偏。
• 真实机器人验证。六类接触丰富任务上比较多个 imitation learning / force-conditioned / reactive baselines；意义是验证预测式接触建模和高频触觉反馈对泛化、扰动恢复有直接贡献。

Figure 1 / Teaser：左侧为 OmniViTac 数据集，中间为 OmniVTA 世界模型式视触觉动作框架，右侧为真实机器人结果示意。

2. 动机

2.1 要解决什么问题

论文关注的任务是接触丰富操作，例如 wiping、assembly、peeling、cutting 等。这类任务不能只靠视觉判断，因为关键状态往往来自接触力、摩擦变化、滑移、插入阻塞、切断瞬间的力突变等触觉信息。视觉能告诉机器人“物体在哪里”，但很难可靠告诉机器人“当前接触是否稳定、是否过力、是否快要打滑”。

作者把问题分成两层：数据层面缺少大规模、任务多样且时间严格对齐的 vision-tactile-action demonstrations；方法层面则缺少把触觉信号显式用于接触动态预测和闭环控制的策略。

2.2 已有方法的局限

• 数据集局限：早期触觉数据多是静态按压或物体纹理采集；较新的 manipulation datasets 虽有动作轨迹，但任务数、物体数、传感器种类和高频触觉-视觉同步仍不足。
• 表示局限：许多方法把触觉作为辅助输入，用于弥补遮挡或识别接触状态，但没有把未来接触演化作为显式预测目标。
• 控制局限：action chunking 常以较低频率开环执行，遇到滑移、错位、外部扰动时不能即时纠偏；RDP 一类 reactive 方法虽引入快反馈，但作者报告其在强接触任务中可能产生过强接触，导致传感器受损风险。

2.3 本文的解决思路

作者借鉴人类 sensorimotor control：一方面形成对接触演化的 feedforward anticipation，另一方面用 tactile feedback 做快速 reflexive correction。对应到方法上，OmniVTA 先预测短时未来触觉 latent，再基于当前/预测触觉差异进行接触感知融合，最后用 60 Hz 的 RLTC 根据预测触觉与实际触觉之间的偏差修正动作。

3. 相关工作梳理

3.1 论文自述的相关工作

3.2 直接前作对比

4. 数据集：OmniViTac

OmniViTac 是本文方法的训练基础。它包含 21,879 条同步轨迹、86 个任务、126 个物体，记录 RGB-D、触觉信号、动作轨迹和连续 gripper aperture。作者将任务组织成六类物理接触模式：Assembly、Cutting、Adjustment、Peeling、Wiping、Grasping。

Figure 2：OmniViTac 数据集概览，包含跨 embodiment 平台、六类模式、五类语义场景和数据质量流程。

4.1 采集系统

• Robot demonstrations：UFACTORY xArm-7，包含 kinesthetic teaching 和 GELLO teleoperation 两种模式。
• Human demonstrations：TacUMI 手持采集设备，使用 RealSense T265 以 200 Hz 输出 6-DoF poses；轨迹结束后检查 tracking drift，位置误差大于 8 mm 的样本丢弃。
• 同构末端执行器：机器人与 TacUMI 使用相同平行夹爪，并记录归一化到 $[0,1]$ 的连续夹爪宽度。
• 视觉：wrist-view 和 third-person RGB-D；D435 为 $640\times480$，L515 为 $1280\times720$，相机 30 Hz。
• 触觉：Xense、Daimon、Tac3D-A1、GelSight Mini；Xense 是主要大规模采集传感器，提供 $35\times20$ 3D displacement fields at 60 Hz。

4.2 数据处理与质量控制

采集时所有 sensory streams 按原生频率异步记录，后处理按时间戳同步。每 50 条轨迹随机可视化 3 条轨迹做在线质量检查；离线工具继续检查并删除异常样本。训练前去掉首尾静止帧，将 RGB-D、触觉、动作通过时间戳对齐，时间误差低于 10 ms，并切分成训练片段。

4.3 六类触觉模式

Figure 3：六类 visuo-tactile manipulation patterns 示例。

Figure 4：接触面积、力强度、任务层级、有效接触比例、轨迹计数和 t-SNE 分析。作者据此总结 tactile signals 的 spatial locality 与 contact-driven dynamics。

5. 方法详解

5.1 方法概览

OmniVTA 是 hierarchical slow-fast policy。Slow Policy 由 Visuo-Tactile World Model (VTWM) 和 Adaptive Fusion Policy (AFP) 组成，用低频视觉、高频触觉和本体状态规划长时 action chunks；Fast Policy 是 Reflexive Latent Tactile Controller (RLTC)，以 60 Hz 根据观察触觉与预测触觉输出细粒度 correction。最终执行动作是慢策略动作和快控制器输出的加权和。

Figure 5：OmniVTA 系统图。慢策略负责预测与规划，快策略负责触觉闭环纠偏。

5.2 方法演变脉络

普通视觉 diffusion policy → 加入 当前触觉输入 → 显式建模 未来触觉预测 → 用 LTD 和 gating 把预测触觉转为接触感知策略输入 → 用 RLTC 把预测-观测差异转为高频纠偏动作。每一步都对应论文指出的一个缺口：视觉无法直接读出接触状态；当前触觉没有未来接触先验；简单拼接不会随接触状态改变模态权重；action chunk 开环执行不能快速响应扰动。

5.3 TactileVAE

TactileVAE 的输入不是高分辨率 tactile image，而是 3D marker displacement。单帧可表示为 $H\times W\times3$，三个通道对应 $x,y,z$ 位移。作者用 causal 3D convolution 做时空编码，使时刻 $t$ 的 latent 只依赖当前和过去观测，保证部署时没有未来信息泄漏。

Figure 6：TactileVAE 用时空编码器压缩 marker displacement，并用 implicit decoder 重建连续 deformation field。

5.4 Visuo-Tactile World Model (VTWM)

VTWM 采用 two-stream conditional generative framework：视觉分支用 SD-VAE 提取 image latents，触觉分支用预训练 TactileVAE 压缩 tactile signals；两个模态各自进入 spatial-temporal diffusion transformer，在共享条件下预测未来。条件来自 multi-modal observation conditioner，它分别聚合视觉、触觉和动作序列，并将 action 表示为 3D end-effector position 的 2D image-plane projection。

Figure 7：Slow Policy。左：两流 VTWM；右：LTD + gating 的 AFP。

5.5 Adaptive Visuo-Tactile Fusion Policy (AFP)

AFP 包含 LTD Encoder、contact-aware gating、visuo-tactile diffusion policy 三部分。

5.6 Reflexive Latent Tactile Controller (RLTC)

RLTC 解决 action chunk 开环执行的问题。它将单帧 tactile feedback 重复 $M$ 次以适配 TactileVAE 的时间压缩；将世界模型低频预测 tactile latent 最近邻上采样到 60 Hz，与当前 tactile feature 对齐；然后用 LTD Encoder 编码当前/预测触觉，再拼接过去 $h$ 步 TCP 坐标系下的 delta actions 和 delta gripper states，经三层 MLP 输出单步 refined action $a_r$。

Figure 8：RLTC 在 60 Hz 下输入观测触觉、预测触觉和机器人状态，输出单步纠偏动作。

5.7 实现要点

• 触觉输入使用 3D marker displacement 而非 raw tactile images，以降低分辨率和提高推理频率。
• TactileVAE 使用 causal 3D convolutions，避免部署时依赖未来帧。
• VTWM 推理时不生成视觉观测，只预测未来触觉信号以提高 rollout 频率；视觉生成分支只在训练/消融中用于分析。
• World model 的 action condition 使用 3D 末端位置的 2D image-plane projection，作者实验显示其在 unseen position 上优于 3D absolute/relative actions。
• Policy 使用当前和上一帧视觉、同一时间窗口内 8 帧触觉、2 个本体状态；输出 6 个动作的 chunk，并插值到 60 Hz 执行。

6. 实验

6.1 实验设置

Figure 16????????????????

训练配置表

6.2 主要结果

Figure 9：六类任务的真实机器人执行过程。

表中最关键的对比是 OmniVTA 与 OmniVTA w/o RLTC：闭环控制在 Wipe P 从 0.25 到 0.60、Peel P 从 0.20 到 0.63、Cut P 从 0.20 到 0.60、Assembly P 从 0.20 到 0.40，说明 RLTC 主要收益体现在扰动恢复。与 RDP 相比，OmniVTA 在强接触任务中报告了更低触觉 deformation：平均 0.35、最大 0.72，而 RDP 平均 0.56、最大 1.1。

6.3 TactileVAE 结果

TactileVAE 在六类任务的 L2 都最低，cosine similarity 除 Grasp 外最高。Grasp 中 PointNet-AE 的 cos 为 0.750，高于 Ours 的 0.720，但 Ours 的 L2 为 0.011，明显低于 PointNet-AE 的 0.028。

Figure 10：TactileVAE 表示的 t-SNE 可视化；作者用三种 force pattern 和跨传感器设置分析 latent cluster。

6.4 VTWM 结果与消融

Figure 11：六类任务的视触觉生成可视化，红色为预测切向 deformation，蓝色为 ground truth。

Figure 12：VTWM 在接触被破坏后的 perturbation and recovery 可视化。

6.5 AFP 与 RLTC 消融

消融显示：预测触觉长度从 0 到 6，平均成功率从 0.09 升到 0.40；加入 LTD 后升到 0.47；加入 gating 后升到 0.53。加入 visual generation 的平均值只有 0.54，增益很小，同时推理时间从 230 ms 增至 480 ms，因此最终设计不依赖未来视觉生成。

Figure 13：预测接触概率与视觉/触觉权重随时间变化；接触概率升高时 tactile weight 上升。

Figure 14：策略扰动实验，物体被突然降低导致接触破坏，RLTC 帮助恢复接触。

Figure 15：触觉预测准确率降低会破坏接触概率估计和模态权重，从而降低成功率。

7. 分析、局限与边界

7.1 这篇论文最有价值的地方

基于论文自身贡献与实验，最核心的价值在于把“触觉”从被动 policy input 提升为三个可训练/可验证的对象：可压缩的 tactile representation、可预测的未来接触状态、可用于高频闭环纠偏的目标信号。这个价值不是单独由某个模块证明，而是由数据集统计、VTWM 预测指标、AFP 消融和真实机器人扰动实验共同支撑。

7.2 结果为什么站得住

• 任务覆盖：六类物理接触模式覆盖精密接触、表面摩擦、强法向力、连续剪切、抓取和手内调整。
• 评估设置：不只报告 object diversity，还报告 unseen heights、unseen tool 和接触扰动。
• 模块证据链：TactileVAE 重建表、VTWM 预测表、AFP 消融表、policy success table 分别对应 representation、prediction、fusion、control。
• 机制可视化：gate weight 随接触概率变化，prediction accuracy 降低导致成功率下降，扰动可视化显示从 no-contact 到 recovery 的过程。

7.3 作者自述或源码中明确出现的局限

正文 Conclusion 没有正式展开 limitations；源码末尾存在被注释掉的 “Limitation and future work” 段落，内容为：OmniViTac 当前是 single-arm、gripper-based tactile manipulation benchmark，尚未覆盖 dual-arm setting 或其他 end-effector types，例如 dexterous hands。该注释还提到未来工作将探索用更大更多样数据扩展 world model、扩展到 dexterous hands 与 dual-arm manipulation，以及 cross-embodiment transfer。由于这段在源码中被注释，本报告将其标为“源码注释中的作者意图”，不等同于正式正文结论。

7.4 论文中明确写出的适用边界

• 真实操作实验使用 xArm7、平行二指夹爪和 Xense 触觉传感器；其他传感器主要用于 TactileVAE representation validation。
• 任务定义集中在六类接触丰富 manipulation patterns，不覆盖灵巧手全手触觉、双臂协作或非夹爪末端执行器。
• VTWM 推理阶段主要使用未来触觉预测，不使用未来视觉生成；作者依据是 visual generation 推理成本高且对策略成功率提升不显著。
• RLTC 的训练依赖从人类轨迹中识别 abnormal tactile states 和 recovery segments；该过程假设每类任务能估计有效触觉分布。

7.5 章节覆盖与验收摘要