CamVLA让机器人能够从任意相机角度执行视觉指令，无需重新标定或外部相机数据。通过将视角相关的几何信息与动作预测分离，它能在未见过的相机位置下实现鲁棒操作——这是将机器人部署到非结构化、不可预测环境中的关键一步。
目录
研究人员构建了什么
大多数视觉-语言-动作（VLA）模型假设相机刚性地固定在机器人的坐标框架上。即使将相机移动几厘米，模型就会失效，因为其视觉到动作的映射是针对该视角训练的。CamVLA团队构建了一个无需标定的VLA模型，能够处理任意第三方相机视角。
关键创新在于解耦架构。传统做法是训练一个单一网络隐式学习相机到机器人的变换，而CamVLA将策略分为两个并行分支。动作头直接在相机自身参考系中预测末端执行器的移动。几何头则从单张单目RGB图像中回归出6自由度的手眼矩阵（相机相对于机器人基座的位姿）。然后通过确定性变换将这两个输出组合为基座指令并执行。由于视觉到动作的映射是在与相机相同的坐标系中学习的，它变得与视角无关。几何头外部处理视角变化，因此机器人无需额外标定即可泛化到新位置、高度或角度的相机。
关键结果
研究人员在仿真（使用RLAB基准）和真实机器人手臂（搭配第三方相机）上评估了CamVLA。他们与最先进的VLA基线进行了比较，包括依赖固定相机训练的模型和需要显式相机标定的模型。
在未见过的相机配置（平移、旋转和高度的变化）下，CamVLA始终优于基线。仿真中，当相机移动到全新姿态时，任务成功率比最强的固定视角基线提高了15-25个百分点。在真实机器人上，相机放置在训练中从未见过的高度和角度，CamVLA的任务成功率接近固定相机条件，而假设固定视角的基线成功率低于30%。
该方法在中等视角变化（例如20厘米平移或15度旋转）下也保持了鲁棒性能，没有任何性能下降，而需要标定的基线则必须重新测量手眼变换才能恢复。结果表明，学习得到的几何信息可以替代显式测量的几何信息来实现视角鲁棒性。
工作原理
CamVLA建立在标准VLA框架之上——通常是一个大型视觉语言模型，处理相机图像和语言指令，输出末端执行器动作。关键区别在于模型的动作空间用相机坐标系而非机器人基座坐标系表示。
以相机为中心的动作生成是核心创新。标准VLA学习从相机视角像素到基座坐标系动作的映射，这隐式包含了相机到基座的变换。当相机移动时，该变换改变，导致映射失效。CamVLA则将预测动作定义为与相机坐标轴自然对齐的增量。由于输入图像和输出动作都在同一相机坐标系中，映射本身对相机位姿不变。
几何头是一个小型神经网络，它接受同一RGB图像，输出一个6自由度的手眼矩阵（旋转+平移）。这个矩阵正是通常通过标定获得的相机到基座的变换，但现在它从像素值回归得到。两个输出——以相机为中心的增量动作和手眼矩阵——通过确定性的正向运动学计算组合，生成机器人的最终基座动作。
训练在现有的机器人操作数据集上进行端到端学习。几何头从场景中的视觉线索（例如机器人手臂、桌面或标记的外观）推断出相机位姿。由于以相机为中心的动作头不需要知道使用哪个视角，它可以在多个相机位置的数据上训练，然后部署到任何新视角——几何头会实时适应。
对机器人技术的意义
当前的VLA机器人控制当相机被移动、重新安装或在不同环境中使用时非常脆弱。这迫使操作人员要么永久固定相机，要么在每次设置变化时进行繁琐的手眼标定。CamVLA消除了这一瓶颈，使得在相机位置灵活的场所（如仓库、装配线或家庭环境）部署VLA机器人成为可能。
对于评估二手工业机器人或集成相机协作机器人的运营经理来说，这项技术意味着更换相机或为新工作单元调整相机位置时，无需重新调整视觉策略。它还打开了多视角系统的大门，机器人可以为给定任务选择最佳视角的相机，无需为每个视角单独标定。
更广泛地说，这项工作推动VLA模型向真正的环境级鲁棒性迈进。模型不是通过工程手段消除视角变化，而是自然地处理它们——这让我们离“机器人只需一个语言指令和一个网络摄像头就能被丢进任意工作空间并开始执行操作任务”的目标更近了一步。
局限性与待解问题
CamVLA目前仅限于单个第三方相机。它不能处理常见于双臂或精密操作的腕部相机的视角变化。模型在极端视角变化（例如相机放得很低或很远）下也会遇到困难，因为几何头的回归精度会随着分布外的视觉特征而下降。高精度任务（如销孔插入）甚至会因手眼矩阵的微小误差而受到影响。
另一个未解决的问题是，当场景缺乏独特视觉线索（例如空白桌面，没有背景特征）时，几何头可能会错误估计相机位姿。论文指出这是未来的研究方向，可能通过引入帧间时间一致性或融合惯性数据来解决。
常见问题
这里“无需标定”是什么意思？ 意味着机器人无需任何外部相机标定程序（如使用棋盘格或测量相机位置）即可适应新的相机视角。模型从图像本身推断相机位姿。
CamVLA与标准VLA模型有何不同？ 标准VLA模型在其神经网络中隐式学习相机到机器人的变换，因此依赖于视角。CamVLA将其解耦为两个独立分支——一个用于视角无关的动作生成，一个用于视角估计——使得系统可以泛化到未见过的相机位置。
这种方法适用于任何机器人手臂吗？ 原则上是的。动作头输出以相机为中心的增量动作，可以通过估计的手眼矩阵和正向运动学转换为任何机器人的坐标系。研究人员已在常见机械臂上成功测试。
该方法需要多个相机或特殊硬件吗？ 不需要。它使用单个单目RGB相机（例如网络摄像头或机器人自带的相机）。无需深度传感器或多相机系统。
结论
CamVLA表明，通过直接从像素学习推断相机位姿，无需标定即可实现视角鲁棒性。其解耦架构在相机移动到新位置时仍能保持高任务成功率，使基于VLA的操作在实际部署中更加实用。这项工作让我们离“机器人能从任意角度观察并行动，无需手动设置”的愿景更近了一步。
从单张图像学习相机几何信息能否成为真正灵活机器人部署的关键拼图？