본 연구의 기여는 세 가지입니다.
- 3.7 million개의 질의응답 쌍으로 구성된 학습 데이터와 데이터 구축 파이프라인을 제시합니다. 이 파이프라인은 사람 영상, 로봇 에피소드, 시뮬레이션에서 실행 관련 지도 신호를 도출하며, 특히 자기중심 시점 영상이 주요 데이터 소스로 활용됩니다.
- ACE-Brain-0.7은 공간 그라운딩, 작업 이해, 진행도 추정을 함께 지원하는 9B VLM으로, 이에 해당하는 평가 전반에서 최고 수준의 성능을 달성합니다.
- 역량 수준별 비교, 통제된 시각 입력, 시간 순서가 있는 질문 쌍, 자기중심 시점 지도 신호에 대한 어블레이션을 통해 계획 및 실행 판단을 실증적으로 분석합니다.
데이터와 모델

평가 설정
모델
ACE-Brain-0.7을 GPT-6 Astra 및 Claude Opus 5.5, 9B(기반 모델) 및 27B 파라미터의 Qwen3.5, 그리고 최대 32B 파라미터를 가진 12개의 공개 체화 모델과 비교합니다.
결론
작업은 구조로, 실행은 상태로 기술하면 공개 벤치마크 5개를 17개 하위 항목으로 구성된 하나의 프로필로 통합할 수 있습니다. 또한 모델이 작업 사전정보에서 얻는 것과 실행에서 읽어내는 것을 구분할 수 있습니다. 이미지가 제거되어도 계획은 유지되지만, 상태에 관한 답변은 그렇지 않습니다. 주석에서 도출한 3.7 million개의 질의응답 쌍으로 지도 미세 조정을 수행하면 답변이 제시된 실행을 따르게 됩니다.
이러한 질의응답 쌍과 공간 그라운딩 및 진행도 추정 데이터를 함께 사용해 Qwen3.5-9B를 미세 조정한 9B 모델 ACE-Brain-0.7은 로봇 에피소드의 다음 하위 작업 예측에서 두 폐쇄형 모델을 앞서고, 비교 모델 중 6개 벤치마크 평균 점수가 가장 높으며, 공개 공간 그라운딩 벤치마크 7개에서도 비교 모델 중 평균 점수가 가장 높습니다.
기여자 및 소속
기여자: Yinhe Wang, Shijun Shi, Feng Pan, Tao Tao, Wei Mao, Jiangning Zhang, Zhiyao Ren, Yihang Jiao, Haoming Gu, Yunpeng Qing, and Jiyu Guo.
자문: Zhi Hou, Dacheng Tao, and Xiaogang Wang.
소속: ACE Robotics; Nanyang Technological University; Zhejiang University.
평가 프로토콜 참고 사항
디코딩 및 입력
ACE-Brain-0.7과 기반 모델을 포함한 모든 공개 모델은 탐욕 디코딩을 사용합니다. Cosmos-Reason1의 생성 토큰 예산은 4,096 tokens이며 반복 페널티는 1.05입니다. 모든 모델에서 Cosmos-Reason1 및 RoboBench 이미지는 왜곡을 보정해 사용합니다.
모든 모델에 RoboBench의 자연어 버전을 사용합니다. Q1 및 Q2에서는 프롬프트에서 스킬 라이브러리와 풀이 예시를 제거하고, 모델은 스킬 함수 호출 대신 일반 언어로 번호가 매겨진 단계를 제시합니다. 기준 계획은 고정 템플릿을 사용해 함수 호출을 문장으로 변환합니다. Q3은 변경하지 않습니다. 내비게이션 질문과 변환된 기준 답안을 검증할 수 없었던 질문 28개를 제외해 3,979개 항목을 남겼으며, 보고 점수는 이 항목들의 평균입니다.
점수 산정
객관식 및 예/아니요 답변은 각 벤치마크의 기본 스크립트로 추출하고 채점합니다. EgoPlan-Bench에서는 공개 모델의 경우 응답 끝에 있는 선택지 문자를 기준으로 채점하고, 폐쇄형 모델의 경우 공개 평가 툴킷의 추출기를 사용합니다.
언어 모델 심사자(Qwen3.8-Flash)가 RoboBench Q1 및 Q2와 RoboFAC 작업 식별 답변을 기준 답안과 대조해 채점하며, 모든 모델에 동일한 프롬프트를 사용합니다. RoboBench Q3은 예/아니요로 채점합니다. LADDER는 분해 완전 일치도, 검증 균형 정확도, 상태 정확도, 다음 하위 목표 타당성의 평균입니다. 상태 점수는 한 장면에 관한 모든 상태 질의에 정답을 맞힌 경우에만 해당 장면을 정답으로 계산합니다. RoboFAC는 네 가지 질문 유형의 매크로 평균입니다. 진행도 MAE에서는 파싱할 수 없는 답변을 오차 1로 계산합니다. 폐쇄형 모델의 하위 항목 점수는 항목별 예측을 바탕으로 산출합니다.
자주 묻는 질문
ACE-Brain-0.7은 무엇인가요? 공간 그라운딩, 작업 이해, 진행도 추정을 지원하도록 Qwen3.5-9B를 미세 조정한 9B VLM입니다.
학습 데이터는 어떻게 구축했나요? 3.7 million개의 질의응답 쌍은 사람 영상, 로봇 에피소드, 시뮬레이션에서 실행 관련 지도 신호를 도출하며, 자기중심 시점 영상이 주요 데이터 소스입니다.
평가 프로필은 무엇을 측정하나요? 공개 벤치마크 5개를 17개 하위 항목으로 통합해 작업 구조에 대한 판단과 실행 상태에 기반한 판단을 구분합니다.
RoboBench 질문은 평가에 맞게 어떻게 조정했나요? Q1 및 Q2에서는 프롬프트에서 스킬 라이브러리와 풀이 예시를 제외하고, 모델은 일반 언어로 번호가 매겨진 단계를 답합니다. Q3은 변경하지 않습니다.
