Los sistemas robóticos agénticos aportan una estructura complementaria a los modelos de acción del mundo (WAM): un entorno programático selecciona habilidades y herramientas reutilizables, las vincula a la escena actual, realiza un seguimiento del progreso y replantea el curso de acción a medida que cambian las observaciones. Esta representación programática hace explícita la estructura de las tareas de varios pasos y especifica qué habilidades y herramientas invocar, con qué argumentos y en qué secuencia. Sin embargo, a menudo la robótica agéntica carece de fundamentos predictivos sobre la dinámica física del mundo real y no aprovecha un modelo aprendido de cómo cambiará el mundo a medida que actúe el robot.
Proponemos una arquitectura que combina la capacidad de anticipación y ejecución de acciones de los WAM con la eficiencia cognitiva, las habilidades reutilizables y el potencial de mejora autónoma futura de la robótica agéntica. Presentamos AW-0, un marco agéntico de WAM que incorpora directamente la planificación y generación basadas en código al modelado de acciones del mundo mediante un experto en código anclado en el entorno. Aprovecha conocimientos generales de programación para sintetizar habilidades modulares con parámetros explícitos y lógica de control. El código guía módulos sincronizados de vídeo y control dentro de una arquitectura de mezcla de transformers, que elimina simultáneamente el ruido de las estructuras de código discretas, las observaciones visuales predichas y las órdenes motoras de bajo nivel.
Nuestra contribución principal es conceptualizar y materializar habilidades robóticas agénticas dentro de un marco de modelos de acción del mundo. Demostramos que la generación de código mejora la predicción de acciones en el modelo del mundo y que el código generado por el modelo del mundo puede reutilizarse en un marco agéntico. Entre las contribuciones específicas se incluyen un marco de mezcla de transformers que integra un experto en código en los modelos de acción del mundo mediante la eliminación simultánea del ruido de código, vídeo y control; una canalización agéntica automatizada para la anotación de programas y el descubrimiento de habilidades; un conjunto de datos de programas de habilidades estructurados; y una política de ejecución híbrida que alterna dinámicamente entre la invocación programática de habilidades y la ejecución directa de segmentos de acción del experto en acciones del WAM.
Arquitectura de mezcla de transformers
Experto en código
El experto en código amplía una base lingüística preentrenada con un transformer visual Qwen3-VL congelado y adopta una difusión de tokens enmascarados al estilo de LLaDA. Las observaciones actuales desde múltiples vistas se codifican en tokens visuales y se anteponen a los tokens de instrucción y de programa para anclar la planificación de habilidades en la escena.
Expertos en vídeo y acciones
El experto en vídeo utiliza un transformer de difusión de vídeo inicializado a partir de Cosmos-Predict2.5 para modelar fotogramas futuros codificados mediante VAE y condicionados por los fotogramas observados, mientras que un transformer de difusión de acciones independiente genera segmentos de acción continuos. Ambos expertos reciben incrustaciones lingüísticas mediante atención cruzada, y el experto en acciones recibe además condicionamiento del estado del robot.
Programación agéntica en WAM
Caché de memoria
Como una sola observación suele ser insuficiente para determinar el progreso de una tarea, el experto en código recibe una caché compacta de los segmentos generados hasta el momento. Los segmentos del historial se comprimen en un conjunto de espacios de memoria aprendibles y se recuperan como tokens de prefijo antes de la instrucción en el flujo de código. Durante el entrenamiento, el búfer contiene los segmentos anotados anteriores, que se sustituyen por predicciones del modelo con una probabilidad determinada. En la inferencia, se reinicia en cada episodio y crece con cada segmento decodificado.
Acciones híbridas
También exploramos un modo de inferencia en el que el segmento de código decodificado se ejecuta mediante una biblioteca de primitivas de percepción y control, siguiendo el enfoque Code-as-Policies. Las acciones ejecutadas se integran con las acciones directas del experto en acciones. Durante el despliegue, los dos canales se arbitran en cada punto de replanteamiento: el segmento decodificado toma el control de la etapa actual solo si supera una serie de comprobaciones de validez y progreso; de lo contrario, el segmento de acción de la misma pasada hacia delante controla el robot hasta el siguiente replanteamiento.
Experimentos
Evaluamos AW-0 en RoboTwin 2.0 y en ocho tareas del mundo real que abarcan configuraciones con pinza paralela y mano diestra. Evaluamos el seguimiento de instrucciones lingüísticas, el razonamiento semántico y la ejecución de habilidades, así como las ventajas de robustez de la ejecución híbrida en escenarios con variaciones.
Conclusión
Presentamos AW-0, un modelo agéntico de acción del mundo que integra la planificación de habilidades basada en código con la dinámica predictiva y el control continuo. Mediante la eliminación conjunta del ruido, el experto en código proporciona una guía semántica estructurada para la generación de vídeo y acciones. Una canalización de anotación automatizada permite aprender esta interfaz de planificación a partir de demostraciones a gran escala de robots y personas.
Los experimentos en RoboTwin 2.0 y en tareas de manipulación del mundo real con YAM y manos diestras demuestran mejoras en el seguimiento de instrucciones lingüísticas, el razonamiento semántico y la ejecución de habilidades, mientras que la ejecución híbrida mejora aún más la robustez. Estos resultados establecen una base unificada para futuras investigaciones sobre la reutilización de habilidades y la interacción iterativa entre la planificación programática, la predicción del mundo y la ejecución, y ofrecen una posible base para sistemas agénticos que interactúan continuamente con los entornos y aprenden de ellos.
Agradecimientos
Zhuoyang Liu agradece a la profesora Shanghang Zhang, de la Universidad de Pekín, su orientación y apoyo.
Declaración sobre el uso de IA
Utilizamos Gemini 3.1 Pro y Claude Code con Claude Opus 4.8 en nuestra canalización de anotación automática para generar etiquetas de programas alineadas con las demostraciones y destilar bibliotecas de habilidades reutilizables. También utilizamos Claude Opus 4.8 para generar programas ejecutables con los que recopilar demostraciones de simulación. Además, utilizamos GPT-6 Astra para pulir el lenguaje y refinar el estilo, así como para parte de la preparación de las figuras.
Declaración de ética
Este trabajo estudia modelos de acción del mundo guiados por código para la manipulación robótica mediante demostraciones de robots y de personas en primera persona. Todos los conjuntos de datos de preentrenamiento se utilizan de acuerdo con sus respectivas licencias y condiciones de uso de datos. Nuestro equipo recopiló todas las demostraciones de posentrenamiento para las tareas evaluadas en este trabajo.
Estadísticas del conjunto de datos de preentrenamiento
Preentrenamos AW-0 con la unión de dos conjuntos de datos de manipulación del mundo real: YAM y datos de personas en primera persona. El corpus YAM contiene 73,101 episodios en 279 tareas, con un total de 1,919.3 horas de teleoperación robótica bimanual. Las demostraciones se graban a 30 Hz con cámaras RGB en la muñeca izquierda, la muñeca derecha y una vista superior.
El corpus de personas en primera persona contiene 175,541 episodios en 327 tareas, con un total de 993.9 horas, y utiliza una sola cámara RGB montada en la cabeza y movimiento de manos rastreado y redirigido a objetivos articulares de 22-DoF por mano para manos diestras. En conjunto, las dos fuentes suman 248,642 episodios y 2,913.2 horas. La vista de la cámara de las personas se replica en las tres entradas; cada ventana de entrenamiento se empareja con la instrucción de su episodio y el segmento de programa alineado.
Experto en código y seguimiento de instrucciones lingüísticas
Examinamos además si la planificación basada en código mejora la alineación de la dinámica visual predicha con la semántica de la tarea. Comparamos la calidad de generación de vídeo de la cámara de la muñeca derecha para AW-0, una variante con subobjetivos en lenguaje natural (Subgoal) y un modelo sin flujo de planificación (AW-0 sin código), bajo la instrucción «Organiza las frutas para que al final solo quede mango en el cuenco izquierdo». Esta tarea requiere identificar el objeto indicado y vincular el resultado deseado con una interacción adecuada. Las tres variantes se evalúan con la misma tarea y configuración de escena, pero con observaciones iniciales similares, aunque no idénticas, procedentes de ejecuciones independientes.
Los futuros predichos muestran diferencias claras en la comprensión de la tarea: AW-0 dirige la interacción hacia el mango, mientras que Subgoal duda entre la manzana y el mango, y AW-0 sin código apunta a la manzana. Estas observaciones sugieren que las llamadas a habilidades estructuradas y los argumentos explícitos de objetos proporcionan una condición de planificación más específica para la predicción de vídeo que un subobjetivo en lenguaje natural por sí solo. Al vincular la semántica de la instrucción con interacciones concretas, el flujo de código ayuda a alinear la dinámica predicha con la tarea prevista. Como el experto en acciones también se condiciona a las representaciones predictivas de vídeo, esta alineación ofrece una vía para mejorar el seguimiento de instrucciones lingüísticas y complementa los resultados de ejecución de los experimentos principales.
Experto en código y robustez de las habilidades
Examinamos además si la planificación basada en código mejora la predicción de la dinámica física y la robustez de las habilidades durante la manipulación precisa. Comparamos los fotogramas futuros predichos por AW-0, Subgoal y AW-0 sin código para la cámara de la muñeca derecha en Deal Poker, centrándonos en la etapa final en la que la mano derecha introduce una carta en una ranura. Esta interacción requiere alinear la carta sostenida con la estrecha abertura y guiarla hasta el interior de la ranura, por lo que el movimiento relativo de la mano, la carta y el receptáculo es esencial para una predicción precisa. Las tres variantes reciben observaciones iniciales similares, aunque no idénticas, muestreadas en instantes cercanos del mismo episodio.
Los futuros predichos muestran diferencias claras en el movimiento de inserción: AW-0 representa con mayor precisión la alineación de la carta con la ranura y su entrada en ella, mientras que Subgoal y AW-0 sin código generan secuencias de inserción menos coherentes, con desenfoque y distorsiones alrededor de la mano y los objetos manipulados. Estas observaciones sugieren que las llamadas explícitas a habilidades y los argumentos de objetos ayudan al experto en vídeo a predecir mejor cómo deben moverse la mano y la carta con respecto al receptáculo. El experto en código contribuye a generar vídeos más precisos y, por tanto, proporciona al experto en acciones una guía predictiva más fiable para la manipulación precisa.
Evaluación de acciones híbridas
Un ejemplo cualitativo de evaluación híbrida en la tarea «Doblar y apilar toallas» muestra un único episodio que continúa de la fila superior a la inferior. Los movimientos diestros de doblado dependen principalmente de las acciones directas del experto en acciones de AW-0, mientras que la ejecución de código se ocupa de movimientos más estructurados, como acercarse a las toallas y apilarlas. Estos movimientos ofrecen una guía directa sobre el orden de apilado y la dirección del movimiento, y mejoran la capacidad de razonamiento semántico del sistema en su conjunto.
Primitivas de bajo nivel
Las configuraciones con pinza paralela y mano diestra comparten diez verbos semánticos de contacto, pero difieren en sus primitivas de bajo nivel: poses del efector final para la pinza y movimiento relativo para la mano diestra. Cada llamada a la API declara los eventos de contacto que produce, lo que permite anclar un programa en una demostración.
Preguntas frecuentes
¿Qué es AW-0? AW-0 es un modelo agéntico de acción del mundo que integra la planificación de habilidades basada en código con la dinámica predictiva y el control continuo.
¿Cómo utiliza AW-0 el código durante la planificación? Un experto en código anclado en el entorno genera habilidades modulares con parámetros explícitos y lógica de control, mientras que el código, el vídeo y el control se someten conjuntamente a la eliminación de ruido.
¿Qué es la ejecución híbrida en AW-0? En cada punto de replanteamiento, un segmento de programa decodificado toma el control si supera las comprobaciones de validez y progreso; de lo contrario, el segmento de acción del experto en acciones controla el robot.
¿Qué conjuntos de datos se utilizan para el preentrenamiento? AW-0 se preentrena con los conjuntos de datos YAM y de personas en primera persona, que en conjunto contienen 248,642 episodios y 2,913.2 horas de datos.