RoboWits是一个新的基准测试，它通过引入具有意外转折的创造性问题解决挑战，将机器人推向了日常抓取放置任务之外。当前的视觉-语言-动作模型，包括大型预训练机器人基础模型，在被迫对训练中未见过的全新物理情境进行推理时，表现严重不佳。
目录
研究人员构建了什么
来自普林斯顿大学及合作机构的研究团队创建了RoboWits，这是一个基于模拟的基准测试，旨在评估机器人解决需要创造性推理而非简单模仿的操作问题的能力。该基准包含30个“种子”任务，每个任务都有明确的物理目标（例如，从狭窄容器中取出方块、推倒一排多米诺骨牌、将三个方块排成一条线），但没有单一的“正确”执行方法。
为了使评估真正具有挑战性，作者构建了一个自动任务生成管道，系统性地引入三种类型的意外修改：Pivot突变迫使机器人采用完全不同的策略（例如，方块的容器被粘住，无法提起和倾倒）；Trap突变添加看似有用但实际上会误导机器人采用低效或错误方法的物体（例如，一个无法通过狭窄开口的勺子）；Add突变则简单地在场景中散布随机干扰物。
收集了所有30个种子任务的人类遥操作演示以支持微调。机器人平台是双臂系统（两个7自由度的Marvin手臂），配备三个摄像头——两个腕部安装和一个底座安装——形成16维动作空间。
关键结果
主要发现十分明显：在pivot突变任务上，现有模型均未达到50%的成功率，并且一旦引入任何推理级别的变化，整体性能会急剧下降。
- 预训练VLA模型如Pi0和Pi0-FLOW在种子任务上取得中等成功率（约30-70%，取决于任务），但在所有突变类型上性能崩溃。
- 基于Transformer的策略如ACT也无法泛化——它们可以模仿演示策略，但无法在物理约束改变时适应。
- 基于VLM的模块化规划器（使用GPT-4o或Gemini 3 Pro进行高级规划，结合完美执行或脚本化低层控制）在种子任务上优于端到端VLA，但在最难突变上仍停滞在60%以下。
| 模型 | 种子（平均） | Pivot | Trap（1-2个物体） | Trap（3个物体） |
|---|---|---|---|---|
| ACT（分块策略） | ~35% | <10% | ~20% | ~10% |
| Pi0（3B VLA） | ~45% | <15% | ~25% | ~15% |
| 带完美基元的VLM规划器 | ~65% | ~30% | ~45% | ~30% |
（数字根据论文定性结果近似；具体百分比因任务而异。）
即使使用200个演示而不是50个，模型在种子任务上有所提升，但在突变任务上没有实质性改善——证明瓶颈在于推理，而非数据规模。
工作原理
RoboWits围绕一个多智能体任务生成管道构建，该管道利用基础模型自主运行。五个专门智能体协作：
- 种子任务生成器——提出一个基于物理环境的初始操作目标。
- 任务验证器——检查种子任务是否可解且无歧义。
- 度量生成器——定义成功标准（例如，方块在目标2厘米内）。
- 任务突变器——使用基于规则的逻辑和LLM建议的组合，应用三种突变策略之一（Pivot、Trap或Add）。
- 场景生成器——放置物体并随机化每个试验的位置和旋转。
每种突变类型针对不同的失败模式。Pivot突变改变场景的功能几何结构——例如，将敞口容器倒置，使倾倒不可能——迫使机器人发现全新的物理策略。Trap突变添加看似物理合理但具有误导性的物体：例如，理论上可以使用但实际会使任务复杂化的水杯。Add突变通过从预定义列表（宜家盘子、电视遥控器、水壶、柠檬等）中随机注入干扰物来增加杂乱。
该基准测试目前包含10个种子任务（用于训练和微调）和30多个突变变体。每个任务在随机化物体位置和旋转的试验中评估。机器人平台在具有软体动力学的高保真物理模拟器中运行，以实现逼真的交互。
为何这对机器人技术重要
部署在仓库、工厂和家庭中的机器人将不可避免地遇到与训练数据不同的情况——一个意想不到的物体堵塞垃圾箱，一个无法正常工作的工具，或者一个需要全新方法的任务。当今最好的机器人策略在这些场景中灾难性地失败，因为它们依赖于对演示轨迹的模仿或狭窄分布内的闭环控制。
RoboWits基准测试明确指出推理是当前机器人AI中最薄弱的环节。即使具有“完美”低层控制的VLM规划器，在pivot突变使其原始策略失效时也难以重新规划。这对于任何购买或部署机器人的组织都很重要：期望当前一代人形机器人和二手协作机器人在重复、明确的任务上表现出色，但在要求“自行解决”时失败。
对于机器人研究人员和工程师而言，该基准测试提供了一个具体的评估套件，用于测试未来结合感知、推理和控制的模型。下一个飞跃可能来自能够在执行动作之前内部模拟替代物理策略的架构，而不是简单地将像素映射到关节角度。
局限性与未解问题
RoboWits完全基于模拟——模拟到现实的差距仍然显著。该基准测试使用先进的物理引擎和软体渲染，但现实世界的接触动力学（摩擦、可变形材料、传感器噪声）引入了模拟无法完全捕捉的挑战。此外，软体模拟的计算成本使得大规模评估比刚体基准测试慢。
该基准测试仅测试单回合问题解决——机器人每次试验只有一次机会。现实世界的系统可能受益于试错学习或人在回路中的指导，这些在此未评估。最后，即使突变管道是自动的，它仍然依赖于可能产生偏差或低质量任务的基础模型——作者报告说，在早期迭代中需要手动验证。
常见问题
RoboWits到底测量什么？ 它测量机器人在面对意外物理变化时的创造性推理能力——具体来说，是否能切换策略（pivot）、避开误导性物体（trap）和忽略无关干扰（add）。
为什么当前VLA无法解决这些任务？ 因为它们依赖于对演示运动模式的模仿。当场景约束改变时，它们要么尝试相同的轨迹（失败），要么由于输入视觉超出分布而冻结——它们缺乏真正的物理推理。
这个基准测试是否公开可用？ 是的，作者计划发布模拟环境、任务描述和人类遥操作演示，以支持研究社区的培训和微调。
RoboWits只适用于双臂机器人吗？ 该基准测试使用双臂设置，但任务设计与机器人形态无关——许多任务可以适配到单臂或配备合适夹爪的仓库机器人。
结论
RoboWits揭示了当前机器人AI的一个根本性差距：即使是强大的视觉-语言-动作模型，在意外物理变化发生时，也无法进行创造性问题解决。该基准测试提供了一个清晰、可重复的测试平台，用于衡量机器人能否在现实世界中推理、适应并发明新策略。
我们距离能够真正“自行解决”而非仅仅模仿的机器人还有多远？