VersaCamVLA 将不断变化的视角转换为紧凑的场景令牌，使机器人操作策略能够适应不同的相机布局。该方法结合基于图像的场景学习与腕部相机运动，并在无需显式 3D 感知的情况下，为预训练视觉-语言-动作策略提供条件信息。在两个仿真基准和一台双臂机器人上的测试表明，在相机变化时，其表现优于早期的 VLA 方法和直接多视角方法。
目录
- 研究人员构建了什么？
- VersaCamVLA 取得了哪些结果？
- VersaCamVLA 如何工作？
- 这对机器人技术为何重要？
- 有哪些局限和待解问题？
- 读者应了解 VersaCamVLA 的哪些信息？
- 机器人团队可以从中得到什么启示？
研究人员构建了什么？
VersaCamVLA 是一个系统，旨在当相机数量或位置发生变化时，将相机观测与机器人的操作策略连接起来。它由两部分组成：一个场景编码器，将相机图像转换为一组共享的紧凑场景令牌；以及一个预训练的视觉-语言-动作（VLA）策略，利用这些令牌选择动作。VLA 策略结合视觉输入、语言指令和机器人动作。
其核心设计选择是将相机组的表示与动作学习分开。场景编码器不会把每种相机布局都视为完全不同的输入问题，而是通过一个可用于为策略提供条件信息的通用接口来呈现观测。研究人员使用多种基于图像的信号训练编码器，包括 RGB 图像、关于物体和区域的语义信息，以及图像边缘。
该系统还利用腕部安装相机的运动作为视角变化来源。通过腕部增强姿态采样，场景编码器在学习表示时能接触到与不同相机姿态相关的视角。该方法面向使用多台相机的操作场景，包括使用双臂的桌面任务。它无需显式 3D 传感器来构建场景表示。
VersaCamVLA 取得了哪些结果？
研究人员报告称，当相机姿态受到扰动或可用相机数量发生变化时，VersaCamVLA 的表现始终优于既有 VLA 方法和直接多视角基线。所提供的论文文本没有包含结果表或具体成功率百分比，因此无法在此说明提升幅度。由此，论文的主要结果是报告了性能提升的趋势，而非可核实的数值差距。
评估涵盖 RoboTwin 2.0、LIBERO 和一个实体双臂平台。在 RoboTwin 2.0 上，研究选取了 16 项涉及空间关系和较长动作序列的任务。每项任务使用 50 次遥操作演示；各方法分别在 Clean 设置和域随机化设置下测试，后者会改变外观和场景，每项任务在每种设置下进行 100 次试验。
在 LIBERO 上，评估涵盖四个套件，分别考察空间推理、物体泛化、语言条件目标和长时序操作。每个套件中的每项任务进行 50 次试验。真实机器人测试涵盖三项双手操作任务，每项任务使用 50 次演示，并在每种条件下评估 20 条轨迹。总体而言，这些测试考察了不止一种相机布局或任务类型，但由于缺少结果表，无法详细比较成功率。
VersaCamVLA 如何工作？
总体而言，VersaCamVLA 将学习有用的场景表示与学习如何行动分开。多台相机对工作区域进行成像，但不同设置中的相机布局可能不同。场景编码器将选定相机组的观测映射为共享的令牌表示。随后，预训练 VLA 利用该表示以及自身已有的视觉-语言-动作能力来生成机器人动作。
编码器使用多种信号作为训练目标。RGB 提供常规彩色图像；语义目标标记有意义的区域或物体；边缘目标则突出物体边界和形状。在仿真中，语义目标来自模拟器的分割传感器。对于真实机器人观测，研究人员使用在机器人数据上微调的分割器。边缘则通过 Canny 检测器从图像中提取。这些信号为编码器提供互补的场景线索，而不是只让它从原始像素中学习。
腕部增强姿态采样针对的是腕部相机会随机器人运动而移动这一特点。视角变化能在训练过程中提供姿态变化，该方法利用这一点为场景编码器采样相机视图。不同测试设置中的相机池有所不同：RoboTwin 2.0 提供六台环境相机和两台腕部相机，LIBERO 提供六台环境相机和一台腕部相机，而实体平台使用四台环境相机和两台腕部相机。编码器从这些相机池中采样视图子集。
该方法仍依赖相机标定：必须已知相机内参和外参。它不使用显式 3D 感知，但并非能够不经设置就接受任意未标定相机的“相机无关”方法。它的实际目标更具体，也更实用：让策略能够适用于不同的已标定相机配置，同时不让动作模型依赖某一组固定视角。
这对机器人技术为何重要？
围绕某一种精心固定的相机布局训练的操作策略，在机器人被移到其他位置、更换相机，或新工作单元提供了不同任务视角时，可能很难复用。针对每种布局重新构建可靠的感知与动作系统会增加工程工作量，也可能拖慢部署。VersaCamVLA 旨在通过在相机观测送入动作策略之前为其建立共享表示，缓解这一问题。
这种设计可能适用于桌面装配、包装和交接任务，尤其是在腕部相机能提供特写视角、但会在操作过程中移动的场景。其评估既包括仿真任务，也包括实体双手操作：立方体转移、堆叠三个立方体，以及将试管从一只手臂交给另一只手臂并插入试管架。这些任务展示了有价值的协调运动能力，但并不能证明系统已达到安全关键型生产应用的要求。
对于运营团队而言，更广泛的问题在于，机器人能否在不同工作单元之间转移，而无需大量针对相机的重新开发。比较硬件和部署方案的工程师也可以浏览待售二手机器人。VersaCamVLA 并未消除标定或验证的必要性，但其共享场景令牌接口为开发不再与单一相机设置紧密绑定的策略提供了一条路径。
有哪些局限和待解问题？
该系统假设相机内参和外参已经过标定，因此相机布置仍需测量和设置。实验聚焦于使用手动布置相机的桌面双手操作。VersaCamVLA 不会自主选择相机位置，也没有展示如何在任务或工作空间发生变化时在线优化相机配置。
论文将未标定相机、主动视角选择和移动工作空间列为未来研究方向。所提供的文本也缺少数值结果表，因此无法据此评估所报告提升的幅度及其变化情况。最后，在已测试的相机变化条件下表现更好，并不意味着面对更大的变化或异常任务故障时也能保证安全。安全关键型部署需要针对具体任务进行验证。
读者应了解 VersaCamVLA 的哪些信息？
VersaCamVLA 需要 3D 传感器吗？ 不需要。它的场景令牌通过相机图像和相关训练信号学习得到，无需显式 3D 感知。
它能适用于任意未经标定的相机布局吗？ 不能。尽管该方法旨在适应不同的相机配置，但它仍假设相机内参和外参已经过标定。
测试了哪些类型的机器人和任务？ 这项研究包括仿真操作基准，以及一台执行立方体转移、立方体堆叠、试管交接和插入任务的实体双臂机器人。
它比对比方法好多少？ 所提供的论文文本报告称，它始终优于既有 VLA 方法和直接多视角基线，但没有提供用于量化提升幅度的成功率数据。
机器人团队可以从中得到什么启示？
VersaCamVLA 针对操作任务中的一个实际障碍：策略可能对相机的位置和接收视图的数量十分敏感。其场景令牌接口以及对腕部相机视角变化的利用，在仿真和真实机器人测试中带来了报告所述的性能提升，但仍需要对相机进行标定并开展进一步验证。
你的机器人部署需要应对多大程度的相机重新配置？