Escalado de una política robótica a 100 tareas domésticas

Agentes LLM como controladores de robots

Una segunda línea de investigación emplea modelos de lenguaje grandes para controlar robots directamente: seleccionando habilidades aprendidas, escribiendo código de control u orquestando una política de bajo nivel. Con modelos de vanguardia capaces de usar herramientas durante horas, esto se ha convertido en una opción práctica en simulación. GPT-6 Astra, lanzado en septiembre de 2026, tuvo el nivel suficiente para resolver algunas tareas de BEHAVIOR que nuestra política aprendida no podía resolver, así que en nuestra entrega final asignamos 14 tareas a un agente basado en Astra (Sección 9).

Contribuciones

• Una receta para ampliar una VLA condicionada por tarea de 50 a 100 tareas sin volver a entrenarla desde cero: etapas semánticas basadas en anotaciones de habilidades, inicialización de nuevas incrustaciones de tareas y etapas basada en similitud, y un espacio de acción de 21 dimensiones que coincide con los controles de teleoperación (Sección 3).
• Registros, tokens de trabajo y sumideros de atención en varios niveles de una VLA; trasladar los valores atípicos de los sumideros de atención de SigLIP preentrenado a los registros mediante una cirugía de parámetros durante un entrenamiento en curso hizo que los mapas de atención fueran legibles (Sección 4).
• Emparejamiento de flujo con múltiples muestras y reducción de varianza, además de un método para elegir el número de muestras de flujo a partir de una sola medición del ruido del gradiente (Sección 5).
• Infraestructura de evaluación que permite inspeccionar y reutilizar ejecuciones entre nubes mediante procedencia, diagnósticos y estados del simulador restaurables, y ejecuta seis simuladores por GPU a una velocidad conjunta superior a la del tiempo real (Sección 7).
• Una ruta con agente LLM basado en GPT-6 Astra para 14 tareas en las que la política aprendida es débil y el agente obtuvo mejores resultados (Sección 9).

El código, los puntos de control del modelo, el punto de control inicial de 2025, así como los vídeos de evaluación y ejemplos visuales están disponibles en el proyecto.

Qué conservamos

De nuestra solución de 2025 conservamos el modelo y la mayor parte de la lógica de servicio:

• Incrustaciones de tareas en lugar de texto: cada tarea tiene una incrustación aprendida y el prompt nunca se tokeniza.
• Etapas del Sistema 2: el modelo predice la etapa actual de la tarea a partir del token de tarea base y se condiciona mediante una incrustación de etapa; durante la inferencia, la etapa se determina mediante votación.
• Mezcla KV: cada capa del experto en acciones atiende a una mezcla aprendible de las claves y los valores de todas las capas del VLM.
• Emparejamiento de flujo con múltiples muestras: el prefijo del VLM se calcula una vez y el experto en acciones se ejecuta para varias muestras de flujo (Sección 5).
• Pérdida auxiliar FAST: durante el entrenamiento, el VLM también predice los tokens FAST del fragmento objetivo.
• Rellenado consciente de las correlaciones durante la inferencia: las acciones ya comprometidas del fragmento anterior sirven de ancla para el siguiente, y las correlaciones entre acciones trasladan la corrección a las acciones libres.

De la solución LeHome tomamos los aspectos de entrenamiento: un cargador ponderado de múltiples conjuntos de datos, una escala de estado corregida (en 2025, muchos valores de estado normalizados quedaban fuera del rango de los intervalos de estado y se recortaban), el enmascaramiento de la pérdida para los pasos de relleno al final de los episodios y el conjunto de aumentos (recorte, rotación, variación del color, enmascaramiento, abandono de cámaras y estados). Una novedad de 2026 es que los fotogramas posteriores a la finalización de la tarea —el tramo inactivo al final de cada demostración— nunca se muestrean para el entrenamiento.

Migración de 50 a 100 tareas

La solución de 2025 utilizaba cuatro puntos de control, cada uno ajustado con un subconjunto de las 50 tareas. En 2026, un único punto de control atiende las 100 tareas. Se inicializa a partir del punto de control de 2025 que aportó la mayor parte de la puntuación de 2025; un único script de conversión lo adapta al nuevo conjunto de tareas, la estructura de etapas y el espacio de acción. Todos los parámetros añadidos en 2026 se inicializan en cero, con la identidad o con valores normales pequeños, de modo que el modelo convertido comienza cerca de la función del modelo de 2025.

Etapas semánticas

En 2025, las etapas del Sistema 2 eran segmentos temporales iguales de cada episodio (5–15 por tarea), porque no utilizábamos las anotaciones de habilidades. Con 20,000 demostraciones anotadas, pudimos comprobar cuánto coincidían estos segmentos temporales con los pasos reales de las tareas, y la coincidencia era escasa. En promedio, solo el 50% de los fotogramas de una etapa temporal corresponde al paso anotado más frecuente (0.17–0.82 por tarea); el 57% de las 1,093 etapas temporales de las 100 tareas no tiene ningún paso que abarque más de la mitad de sus fotogramas; y los límites de las etapas temporales no se acercan más a los límites reales entre pasos que unos límites aleatorios. La duración de los episodios dentro de una tarea varía un 20%, por lo que, en una tarea de 11 etapas, una cuadrícula temporal fija puede desviarse unas dos etapas en cualquiera de las dos direcciones.

Las sustituimos por etapas semánticas construidas a partir de las anotaciones:

• Cada episodio se corta en el fotograma en que la tarea termina, y su secuencia de habilidades anotadas se alinea con la secuencia típica de la tarea (el medoide); los reintentos y pasos adicionales se asignan al paso actual.
• Los pasos se agrupan en etapas en los puntos en que las demostraciones coinciden. Las partes que los demostradores realizan en distinto orden (por ejemplo, clasificar objetos) se convierten en etapas de progreso sin un orden fijo.
• Después, unas cuantas reglas ajustan la agrupación: un agarre y una acción de tipo pulsación (pulsar, accionar un interruptor o alternarlo) nunca están en la misma etapa, para que la regla de la pinza pueda distinguir un agarre fallido de una pulsación; los estados visualmente similares de un mismo aparato se mantienen en etapas distintas; los pasos repetidos consecutivamente se convierten en una sola etapa; y las etapas muy breves se fusionan con una etapa vecina, salvo que correspondan a una acción final diferenciada.

El resultado son 413 etapas (2–9 por tarea), en lugar de 1,093 etapas temporales. Todas las etiquetas se vuelven a generar a partir de las anotaciones del conjunto de datos mediante scripts deterministas.

Inicialización en caliente de nuevas tareas y etapas

Etapas. La misma idea se aplica un nivel más abajo. Una etapa semántica de una tarea antigua parte del promedio de las incrustaciones de las etapas temporales de 2025 de esa tarea, ponderadas según la cantidad de sus fotogramas que correspondía a cada etapa temporal. Una etapa de una tarea nueva parte de las etapas coincidentes de tareas antiguas similares (por ejemplo, «abrir el frigorífico» se inicializa a partir de las tareas antiguas que incluyen abrir un frigorífico). Los pesos de salida de la capa de etapas se convierten de la misma manera.

Espacio de acción mínimo

El modelo de 2025 predecía 32 dimensiones, de las cuales 23 eran reales (base 3, torso 4, dos brazos de 7 y dos pinzas). Cambiamos la representación de las acciones para que coincidiera con los grados de libertad utilizados en teleoperación:

• Se eliminaron las 9 dimensiones de relleno.
• El sistema de teleoperación JoyLo no mueve de forma independiente las cuatro articulaciones del torso. Tiene dos controles para el torso: la traslación lo desplaza por una trayectoria fija que pasa por tres poses clave, desde la posición erguida hasta la inclinación máxima, y la inclinación añade un desplazamiento a la tercera articulación; la cuarta articulación siempre vale cero. Todos los comandos del torso en los 211M fotogramas del conjunto de datos tienen exactamente esta forma, y la traslación y la inclinación se pueden recuperar exactamente a partir de las cuatro articulaciones. Por ello, el modelo predice la traslación y la inclinación, y sus salidas se convierten de nuevo en las cuatro articulaciones.

El resultado es un espacio de acción y estado de 21 dimensiones: base 3, traslación, inclinación, brazo izquierdo 7, pinza izquierda, brazo derecho 7 y pinza derecha. Cuatro dimensiones del torso correlacionadas y parcialmente redundantes se redujeron a dos dimensiones útiles, y la política ya no puede producir configuraciones del torso que no aparezcan en las demostraciones. El espacio de control compartido también permite que un operador de JoyLo tome el control de forma fluida durante un episodio. Se copian los pesos de las dimensiones restantes, y las dos nuevas filas del torso se inicializan en cero.

El mismo principio se aplica al vocabulario: el modelo solo incrusta los 256 intervalos de estado (los tokens FAST tienen su propia tabla de incrustaciones), así que conservamos 256 de las 257,152 filas de incrustación de Gemma. Esto elimina 526M parámetros que no recibían gradientes, pero se almacenaban cuatro veces en cada punto de control de entrenamiento (pesos, EMA y los dos momentos de Adam): unos 8 GB por punto de control.

Sumideros de atención, tokens de trabajo y registros

Esta parte del trabajo comenzó como una tarea de depuración. Para entender los fallos, visualizamos la atención de los tokens de acción sobre las tres cámaras en cada paso de una ejecución. En el modelo de 2025 inicializado en caliente, estos mapas eran prácticamente inútiles: las mismas pocas celdas se iluminaban en las tres cámaras, en todos los fotogramas de todos los episodios (los mapas promediados por episodio tienen una correlación de 0.97).

La causa eran las incrustaciones posicionales preentrenadas de SigLIP: unas pocas celdas tienen normas atípicas (la celda (12,1) tiene una norma de 313 frente a una media de 22, concentrada sobre todo en un canal), por lo que sus tokens actúan como «lugares de estacionamiento» sin contenido para la atención. Las 12 celdas más activas recibían el 31.9% de toda la atención a imágenes, y la celda (12,1) por sí sola recibía hasta el 29% de la cámara de la muñeca derecha. Este es el fenómeno descrito en trabajos sobre transformadores de visión y modelos de lenguaje: la función softmax necesita un lugar donde poner el exceso de atención, así que el modelo reutiliza algunos tokens para ese fin y pierde la información que contenían. Además de la información perdida, esto hacía que los mapas de atención fueran ilegibles.

Creamos espacios específicos para ello en cuatro niveles:

• Registros de SigLIP: 8 tokens aprendibles dentro de la torre de visión de cada cámara, sin incrustaciones posicionales. Sus salidas pasan por la misma proyección que los tokens de parches y se incorporan al prefijo (24 tokens), enmascarados junto con su cámara.
• Tokens de trabajo del VLM: 8 tokens aprendibles en el prefijo, con atención bidireccional a las imágenes.
• Tokens de trabajo del experto en acciones: 4 tokens aprendibles al principio del sufijo.
• Sumideros de atención en cada capa de atención de ambos transformadores: una clave virtual con un logit aprendible por cabeza de consulta y, a diferencia de gpt-oss, un valor aprendible por cabeza KV, de modo que la atención dirigida al sumidero devuelve un vector aprendido en lugar de descartarse.

También añadimos una proyección lineal por cámara después del codificador SigLIP compartido, inicializada con la identidad.

No realizamos estudios de ablación de estos cambios. La pérdida se recuperó por completo después de la cirugía, así que no creemos que hayan sido perjudiciales, pero, aparte de facilitar la depuración, no tenemos pruebas de que mejoren la tasa de éxito. La cantidad de registros, tokens de trabajo y sumideros se eligió de forma bastante arbitraria.

Emparejamiento de flujo con múltiples muestras

Varias muestras de flujo por observación

Con [el esquema de muestreo de flujo; la fórmula no aparece en el texto proporcionado], que favorece el extremo más ruidoso. Todas las [cantidad de muestras de flujo] muestras comparten el prefijo, y sus gradientes se propagan de vuelta al VLM a través de sus claves y valores.

Dos fuentes de ruido del gradiente

Para un lote de [tamaño del lote] observaciones, la varianza del gradiente tiene tres fuentes: qué observaciones forman el lote, sus aumentos aleatorios y las extracciones de flujo [cantidad de muestras de flujo]. Solo el término correspondiente a las extracciones de flujo disminuye con [cantidad de muestras de flujo]:

La contribución de las extracciones de flujo a la varianza del gradiente disminuye a medida que aumenta el número de muestras; la varianza de una sola extracción de flujo se indica por separado.

Medimos los tres términos con una prueba en parámetros fijos, remuestreando una fuente a la vez. En la configuración de 2025 ([cantidad de extracciones de flujo independientes]), las extracciones de flujo representaban el 21% de la varianza del gradiente, los aumentos el 38% y la selección de observaciones el 42%. Con nuestros tamaños de lote, el gradiente está dominado por el ruido, así que reducir su varianza equivale aproximadamente a un aumento proporcional del lote.

Por tanto, hay dos maneras de reducir el ruido: más muestras de flujo por observación, que reducen únicamente el término de las extracciones de flujo, o un lote más grande, que reduce todos los términos. Ambas opciones consumen recursos de cómputo. A continuación, primero hacemos que cada muestra de flujo sea más útil (Sección 5.3) y luego comparamos ambas opciones por unidad de cómputo (Sección 5.4).

Otras optimizaciones

Tasas de aprendizaje por grupo. Probamos varios multiplicadores por grupo, aplicados a las actualizaciones finales para no modificar el estado del optimizador y poder cambiarlos al reanudar el entrenamiento. La receta final usa [el multiplicador indicado] para el experto en acciones, las proyecciones de acción y tiempo, la mezcla KV y las incrustaciones de tareas y etapas, y [el multiplicador indicado] para todo lo demás, incluida la torre de visión, con el gradiente recortado a 2.0.

Eficiencia. Limitar el objetivo FAST a 68 tokens en lugar de 200 (la media es de 37 por fragmento) redujo alrededor de un 9% el tiempo por paso, y elegir cantidades de tokens que hicieran que las claves de atención fueran múltiplos de 16 ahorró otro 4–5%. Eliminar el vocabulario no utilizado (Sección 3) reduce en unos 8 GB el estado del optimizador y el tamaño de los puntos de control.

Aumentos. Cámara frontal: recorte aleatorio (98%) y rotación ([ángulo de rotación]); todas las cámaras: variación del color y un rectángulo de enmascaramiento (probabilidad de 0.3, hasta el 10% de la imagen); cada cámara de muñeca se descarta con una probabilidad de 0.05, y todos los tokens de estado con una probabilidad de 0.02.

Entrenamiento

El punto de control enviado corresponde al paso 200k de una ejecución con las 20,000 demostraciones, inicializada en caliente a partir del punto de control convertido de 2025. La ejecución tuvo dos fases:

• [La configuración de la primera fase no aparece en el texto proporcionado], lote de 480 (el tamaño máximo que cabe), 130k pasos y tasa de aprendizaje máxima de [tasa de aprendizaje]; cada paso tardaba unos 10.5 s (46 muestras/s).

La primera mitad de la fase B300 también sirvió como banco de pruebas: probamos distintos parámetros de entrenamiento y cambios en el modelo durante la ejecución activa, reanudándola desde sus puntos de control, y conservamos lo que funcionó. Durante la mayor parte de la ejecución, el optimizador fue AdamW con [configuración del optimizador] y una EMA de 0.995; el programa cosenoidal tenía 5k pasos de calentamiento, y los pesos de la pérdida eran 1 para el emparejamiento de flujo, 0.1 para la capa de etapas y 0.05 para FAST. En total, el modelo procesó unos 200M de muestras de entrenamiento, aproximadamente una pasada por los 211M fotogramas de las demostraciones.

Infraestructura de evaluación

Evaluar 100 tareas largas es costoso: un episodio puede durar hasta decenas de minutos de tiempo real, y un simulador tarda entre 6 y 9 minutos en iniciarse. Durante la competición ejecutamos alrededor de 9,000 episodios de evaluación, unos 100M pasos del entorno o casi 1,000 horas simuladas; guardamos cada ejecución con su procedencia, diagnósticos y puntos de control de escena restaurables, para poder comparar modelos, inspeccionar fallos e iniciar experimentos de seguimiento a partir de estados grabados.

Infraestructura en la nube

Un único registro en distintas nubes. Ejecutamos evaluaciones en máquinas locales y en dos plataformas en la nube (RunPod y, después, Nebius); todas las ejecuciones se cargaban en un único depósito en la nube. Un portal web las indexa automáticamente. Cada ejecución incluye un manifiesto con toda su procedencia: revisión y diferencias del código, versiones del simulador y los paquetes, todos los argumentos del evaluador y del servicio, y la suma de comprobación del punto de control utilizado, que vincula la ejecución con un registro de modelos.

Datos detallados. Las evaluaciones grabadas conservan el vídeo y la telemetría de recursos, además de las acciones por paso, los diagnósticos de observación y de la política, los tiempos de inferencia y el progreso hacia el objetivo BDDL. Guardamos el robot y todos los objetos de la escena inicializados, incluidos los objetos inactivos y los que no forman parte de la tarea, al comienzo, cada 30 pasos y al terminar. Esto permite realizar experimentos de recuperación con una escena restaurable cercana a un fallo, a la vez que limita el almacenamiento y la ralentización de la evaluación; la contrapartida es que solo podemos restaurar los pasos guardados. Cuando una acción crea objetos nuevos, como ocurre al cortar, también guardamos la descripción de la escena necesaria para reconstruirlos.

Restauración y revisión. Estos estados guardados se pueden cargar en un simulador nuevo para reproducir parte de una ejecución o iniciar un experimento de recuperación específico. El portal permite a las personas y a los agentes de programación encontrar cualquier modelo y episodio, comparar resultados, ver el vídeo junto al progreso hacia el objetivo y dejar comentarios con marca de tiempo. Las ejecuciones de agentes utilizan el mismo sistema de almacenamiento y visor.

El texto del artículo proporcionado termina a mitad de esta sección.

Preguntas frecuentes

¿Cómo gestiona la política de 2026 100 tareas con un único punto de control? Se inicializa en caliente a partir de un punto de control de 2025 y utiliza etapas semánticas de tareas, inicialización basada en similitud y un espacio de acción compartido de 21 dimensiones.

¿Por qué sustituir las etapas basadas en el tiempo por etapas semánticas? Los segmentos temporales coincidían poco con los pasos de tarea anotados. Las etapas semánticas se construyen a partir de las anotaciones de las demostraciones y reducen el número de etapas de 1,093 a 413.

¿Qué problema resolvieron los registros y los sumideros de atención? Unas pocas celdas de las incrustaciones posicionales de SigLIP atraían una gran parte de la atención a imágenes, lo que dificultaba interpretar los mapas de atención. Se dotó al modelo de registros, tokens de trabajo y sumideros de atención específicos.

¿Cómo se hicieron reutilizables las ejecuciones de evaluación? Las ejecuciones se guardaron con su procedencia, diagnósticos, vídeo y estados del simulador restaurables, lo que permitió inspeccionar fallos e iniciar experimentos de seguimiento a partir de escenas grabadas.