ACE-Brain-0.7: Entrenamiento de agentes encarnados para razonar a partir de evidencia de ejecución

ACE-Brain-0.7: Entrenamiento de agentes encarnados para razonar a partir de evidencia de ejecución

Yinhe Wang, Shijun Shi, Feng Pan, Tao Tao, Wei Mao +9 más

5 min de lectura•21 nov 2026

Nuestras contribuciones son tres:

  • Una colección de entrenamiento de 3.7 millones de pares de preguntas y respuestas, y una canalización de construcción de datos que deriva supervisión relacionada con la ejecución a partir de videos de personas, episodios de robots y simulaciones, con el video egocéntrico como una fuente de datos principal.
  • ACE-Brain-0.7, un VLM de 9B que admite conjuntamente el anclaje espacial, la comprensión de tareas y la estimación del progreso, y logra un rendimiento global líder en las evaluaciones correspondientes.
  • Un análisis empírico de los juicios sobre planificación y ejecución mediante comparaciones a nivel de capacidad, entradas visuales controladas, pares de preguntas temporales y una ablación de la supervisión egocéntrica.

Datos y modelo

Canalización para construir supervisión relacionada con la ejecución

Configuración de la evaluación

Modelos

Comparamos ACE-Brain-0.7 con GPT-6 Astra y Claude Opus 5.5; Qwen3.5 con 9B (nuestro modelo base) y 27B parámetros; y doce modelos abiertos de agentes encarnados de hasta 32B parámetros.

Conclusión

Describir una tarea por su estructura y una ejecución por su estado convierte cinco benchmarks públicos en un perfil de diecisiete subelementos y permite distinguir qué obtiene un modelo del conocimiento previo sobre la tarea y qué extrae de la ejecución: los planes se mantienen al retirar las imágenes; las respuestas sobre el estado, no. El ajuste fino supervisado con 3.7 millones de pares de preguntas y respuestas derivados de anotaciones hace que las respuestas se ciñan a la ejecución mostrada.

ACE-Brain-0.7, un modelo de 9B obtenido a partir de Qwen3.5-9B mediante el ajuste fino con estos pares, junto con datos de anclaje espacial y estimación del progreso, supera a ambos modelos cerrados en la siguiente subtarea de un episodio robótico, obtiene el promedio más alto de todos los modelos comparados en seis benchmarks y alcanza el promedio más alto de todos los modelos comparados en siete benchmarks públicos de anclaje espacial.

Colaboradores y afiliaciones

Colaboradores: Yinhe Wang, Shijun Shi, Feng Pan, Tao Tao, Wei Mao, Jiangning Zhang, Zhiyao Ren, Yihang Jiao, Haoming Gu, Yunpeng Qing y Jiyu Guo.

Asesores: Zhi Hou, Dacheng Tao y Xiaogang Wang.

Afiliaciones: ACE Robotics; Nanyang Technological University; Zhejiang University.

Notas sobre el protocolo de evaluación

Decodificación y entradas

Todos los modelos abiertos, incluido ACE-Brain-0.7 y el modelo base, decodifican de forma voraz; en Cosmos-Reason1, el presupuesto de generación es de 4,096 tokens y la penalización por repetición es de 1.05. Las imágenes de Cosmos-Reason1 y RoboBench se desdistorsionan para todos los modelos.

RoboBench se utiliza en una versión en lenguaje natural para todos los modelos: en Q1 y Q2 se eliminan del prompt la biblioteca de habilidades y los ejemplos resueltos; el modelo responde con pasos numerados en lenguaje corriente en lugar de llamadas a funciones de habilidades; y los planes de referencia se convierten de llamadas a funciones a oraciones mediante plantillas fijas. Q3 no cambia. Se excluyen las preguntas de navegación y 28 preguntas cuyas referencias convertidas no pudieron verificarse, lo que deja 3,979 elementos; la puntuación reportada es la media de estos elementos.

Puntuación

Las respuestas de opción múltiple y de sí/no se extraen y puntúan mediante el script propio de cada benchmark. En EgoPlan-Bench, los modelos abiertos se puntúan a partir de la letra de opción al final de la respuesta, y los modelos cerrados, mediante el extractor del kit de herramientas de evaluación público.

Un evaluador basado en un modelo de lenguaje (Qwen3.8-Flash) puntúa RoboBench Q1 y Q2, así como la identificación de tareas de RoboFAC, comparándolas con la referencia y utilizando el mismo prompt para todos los modelos; RoboBench Q3 se puntúa como sí/no. LADDER es la media de la coincidencia exacta de descomposición, la exactitud balanceada de verificación, la exactitud del estado y la validez del siguiente subobjetivo; su componente de estado solo cuenta una escena como correcta si todas las consultas sobre el estado de esa escena son correctas. RoboFAC es la media macro de sus cuatro tipos de preguntas. El MAE del progreso cuenta una respuesta imposible de analizar como un error de 1. Las puntuaciones por subelemento de los modelos cerrados se calculan a partir de sus predicciones por elemento.

Preguntas frecuentes

¿Qué es ACE-Brain-0.7? Es un VLM de 9B ajustado a partir de Qwen3.5-9B para admitir el anclaje espacial, la comprensión de tareas y la estimación del progreso.

¿Cómo se construyó su colección de entrenamiento? Los 3.7 millones de pares de preguntas y respuestas derivan supervisión relacionada con la ejecución de videos de personas, episodios de robots y simulaciones; el video egocéntrico es una fuente principal.

¿Qué mide el perfil de evaluación? Combina cinco benchmarks públicos en diecisiete subelementos y distingue los juicios sobre la estructura de la tarea de los basados en el estado de ejecución.

¿Cómo se adaptaron las preguntas de RoboBench para la evaluación? En Q1 y Q2, los prompts omiten la biblioteca de habilidades y los ejemplos resueltos, y los modelos responden con pasos numerados en lenguaje corriente; Q3 no cambia.