我们的贡献主要有三方面:
- 构建了包含 3.7 million 组问答对的训练集,并设计数据构建流程,从人类视频、机器人执行片段和仿真中提取与执行相关的监督信号,其中第一人称视角视频是重要的数据来源。
- 提出 ACE-Brain-0.7,一款 9B 视觉语言模型(VLM),可同时支持空间定位、任务理解和进度估计,在相应评测中的总体表现领先。
- 通过能力层面对比、受控视觉输入、成对时间问题以及第一人称视角监督消融实验,对规划与执行判断进行了实证分析。
数据与模型

评测设置
模型
我们将 ACE-Brain-0.7 与 GPT-6 Astra、Claude Opus 5.5、参数量为 9B(我们的基座模型)和 27B 的 Qwen3.5,以及十二款参数量不超过 32B 的开放式具身模型进行比较。
结论
将任务描述为结构、将执行描述为状态,可把五项公开基准整合为一份包含十七个子项的评测画像,并区分模型依赖任务先验得出的判断与从执行过程中读取的信息:移除图像后,计划判断依然成立,状态判断则不然。通过 3.7 million 组基于标注构建的问答对进行监督微调后,模型的回答能够依据所展示的执行过程。
ACE-Brain-0.7 是一款 9B 模型,由 Qwen3.5-9B 经上述问答对以及空间定位和进度估计数据微调得到。在预测机器人执行片段的下一子任务时,它领先于两款闭源模型;在所有对比模型中,它的六项基准平均分最高,在七项公开空间定位基准上的平均分也最高。
贡献者与所属机构
贡献者: Yinhe Wang、Shijun Shi、Feng Pan、Tao Tao、Wei Mao、Jiangning Zhang、Zhiyao Ren、Yihang Jiao、Haoming Gu、Yunpeng Qing 和 Jiyu Guo。
顾问: Zhi Hou、Dacheng Tao 和 Xiaogang Wang。
所属机构: ACE Robotics;南洋理工大学;浙江大学。
评测协议说明
解码与输入
所有开放模型(包括 ACE-Brain-0.7 和基座模型)均采用贪心解码;对于 Cosmos-Reason1,生成预算为 4,096 tokens,重复惩罚系数为 1.05。对所有模型,Cosmos-Reason1 和 RoboBench 的图像均进行去畸变处理。
所有模型均使用自然语言版本的 RoboBench:在 Q1 和 Q2 中,提示词会移除技能库和示范样例,模型以纯文本编号步骤作答,而非调用技能函数;参考计划则通过固定模板将函数调用转换为句子。Q3 保持不变。导航问题以及 28 个无法验证转换后参考答案的问题均予以排除,最终保留 3,979 个条目,报告分数为这些条目的平均值。
评分
选择题和是非题答案通过各基准自带的脚本提取并评分。在 EgoPlan-Bench 上,开放模型根据回答末尾的选项字母评分,闭源模型则使用公开评测工具包中的提取器评分。
语言模型评审器(Qwen3.8-Flash)根据参考答案为 RoboBench Q1、Q2 和 RoboFAC 的任务识别项评分;所有模型使用相同的提示词。RoboBench Q3 按是非题评分。LADDER 分数为分解精确匹配率、验证平衡准确率、状态准确率和下一子目标有效性的平均值;其状态分项只有在场景中的所有状态查询均回答正确时,才将该场景计为正确。RoboFAC 分数为四类问题的宏平均值。进度 MAE 将无法解析的回答计为 1 的误差。闭源模型的子项分数根据其逐项预测计算。
常见问题
ACE-Brain-0.7 是什么? 它是一款由 Qwen3.5-9B 微调得到的 9B 视觉语言模型(VLM),支持空间定位、任务理解和进度估计。
它的训练集是如何构建的? 这 3.7 million 组问答对从人类视频、机器人执行片段和仿真中提取与执行相关的监督信号,其中第一人称视角视频是重要的数据来源。
评测画像衡量什么? 它将五项公开基准整合为十七个子项,区分对任务结构的判断与基于执行状态的判断。
RoboBench 问题如何调整以用于评测? 对于 Q1 和 Q2,提示词不包含技能库和示范样例,模型以纯文本编号步骤作答;Q3 保持不变。
