最近的视觉-语言-动作（VLA）模型在操作任务上取得了令人印象深刻的结果，但当相机移动时却会失败——这一问题被称为捷径学习。研究人员发现，以1:3的比例（移动视角与多固定视角）混合静态和动态相机数据，可以将移动视角下的成功率从43%提升至89%，为真正鲁棒的机器人视觉提供了一种简单的数据策略。
目录
研究人员构建了什么
来自中国某研究实验室的团队开发了一种名为混合动态数据的数据收集策略，以治愈VLA模型的一种隐蔽故障模式：捷径学习。当在固定相机视角下训练时，这些模型实际上并没有学习操作物体——它们学会了利用相关性，比如“笔总是在笔座的左边”或“相机从不移动”。只要稍微移动相机，性能就会骤降。
为了打破这些虚假相关性，他们在数据收集过程中设计了三种相机配置：固定视角（相机从不移动）、多固定视角（相机在每次试次之间跳转到不同的静态位置）和移动视角（相机在每次试次中沿连续轨迹运动）。关键洞察是，仅仅增加视角数量是不够的——你需要正确的混合比例。
通过以1:3的比例（移动视角：多固定视角）系统地混合多固定和移动数据，他们实现了所谓的“黄金比例”，结合了静态视角的稳定性和动态视角的正则化效果。结果是，VLA真正理解了空间关系，而不是记忆视觉捷径。
关键结果
实验在笔拾取和放置任务上进行，揭示了模型在相机移动下的行为存在巨大差异：
- 固定视角训练在相同静态视角下测试时成功率为85%，但在动态移动视角下测试时骤降至43%——这是捷径学习的明显标志。
- 混合数据训练（使用黄金比例）在动态视角下保持了83%的成功率，证明混合策略消除了对固定相机位置的过拟合。
- 仅在动态视角下测试时，纯移动数据的成功率仅为54.8%，而纯多固定数据达到80.5%——表明连续运动单独使用过于混乱，难以收敛。
- 1:3移动视角与多固定视角混合将性能提升至89.0%，是所有配置中的最佳结果。
| 数据组成 | 移动测试成功率 |
|---|---|
| 纯移动 (1:0) | 54.8% |
| 纯多固定 (0:1) | 80.5% |
| 移动:多固定 = 1:3 (黄金比例) | 89.0% |
黄金比例模式在不同VLA架构中都成立，而不仅限于用于调优的Gr00t模型。团队还展示了使用混合数据学习的技能能够以更好的样本效率迁移到新任务。
工作原理
VLA模型整合视觉输入、语言指令和电机动作以执行操作。核心问题在于这些模型容易陷入捷径学习：它们不学习真正的底层任务（例如“将笔插入笔座”），而是抓住偶然的视觉相关性，如“笔总是在相对于笔座的相同像素位置出现”或“相机角度从不改变”。
混合动态数据策略通过解耦数据收集过程中的三个变化轴来打破这些捷径：
- 视角多样性：相机视角既离散变化（多固定：跨试次的不同静态姿态）也连续变化（移动：试次内的动态轨迹）。这防止模型依赖任何固定的相机-物体关系。
- 物体配置多样性：目标物体（如笔）和容器（如笔座）的相对位置在试次间随机化，因此模型无法利用固定的空间布局。
- 基座-相机解耦：相机独立于机器人基座移动，确保视觉输入与电机动作之间不存在固定的坐标关系。
关键的技术洞察是1:3黄金比例。纯多固定数据提供稳定的训练，因为视觉输入仅在试次之间变化，使得策略能够收敛到一致的动作映射。纯移动数据在每个时间步引入过多视觉变化，使模型困惑。通过混合它们——一份移动视角对应三份多固定视角——模型获得了足够的多样性来学习视角不变的表征，同时仍收到足够一致的视觉结构以可靠收敛。
为何这对机器人技术重要
对于在真实世界部署机器人操作器的任何人——从制造业中的二手协作机器人到动态环境中的人形机器人——视角鲁棒性不是可选项。在实验室中使用固定顶置相机训练的机器人，当部署在移动平台上或相机被碰撞时将会失败。
本文提供了一种实用的数据配方，任何机器人专家都可以采用：将约75%的收集工作用于脚本化的静态视角，25%用于连续相机运动。结果是一个真正理解空间关系而非记忆视觉捷径的模型。
该方法与架构无关——它适用于现有的VLA模型如Gr00t、Octo等——因此可以立即应用于当前一代系统。它还提高了样本效率，意味着你可能需要更少的演示来训练鲁棒的策略。对于必须处理多样化工作流程的仓库机器人，这可能转化为更短的调试时间和更少的部署失败。
局限性与开放问题
实验集中于桌面拾取放置和笔插入任务。虽然数据策略与任务无关，但在更长视野、接触密集型任务（如装配或线缆布线）上的系统验证尚未进行。1:3的黄金比例是针对一个架构和任务优化的——它可能因不同模型或环境而变化。
一个更根本的限制：移动视角仍然是被动的。论文建议未来研究策略条件主动视角控制——让机器人本身根据遮挡和任务状态决定下一步看哪里。这将把“移动之眼”从数据收集技巧转变为在线技能，从而解锁更强的鲁棒性。真实世界部署还需要考虑实时运行动态相机轨迹时的延迟和计算预算。
常见问题解答
什么是机器人操作中的捷径学习？ 捷径学习发生在机器人模型记忆视觉相关性（如“笔总是在相同像素位置”）而不是学习真正任务时——因此当相机稍微移动时就会失败。
我是否总是需要在训练时移动相机？ 并非持续移动。纯移动数据实际上会损害性能。关键在于混合约25%的移动相机数据和75%的静态（多固定）数据，以兼顾稳定性和不变性。
我可以将其应用于现有的VLA模型吗？ 是的。混合数据策略适用于不同的VLA架构（Gr00t、Octo等），并且只改变数据收集流程，而不改变模型本身。
这有助于超越笔插入的任务吗？ 作者预期迁移到更长视野和接触密集型任务，但在装配、线缆布线或可变形物体上的系统验证仍是未来工作。
结论
“移动之眼”论文提供了一种实用的、与架构无关的数据配方，消除了当前VLA模型的一个主要盲点。通过以1:3的比例混合静态和动态相机视角，机器人专家可以训练出在相机移动时不会崩溃的操作策略——这是迈向能在实验室外可靠工作的机器人的关键一步。该方法现已准备好采用。
对于需要频繁适应视角变化的高速装配任务，你会包含多少移动相机数据？