RoboTTT separa las actualizaciones rápidas de pesos de las lentas: al enmascarar la pérdida de flujo en pasos temporales seleccionados, estos pasos actúan como contexto puro, actualizando los pesos rápidos sin proporcionar un objetivo de imitación. Esta flexibilidad permite a RoboTTT aprender de contextos heterogéneos, como demostraciones humanas en video o trayectorias subóptimas del propio robot.
Limitaciones y Conclusión
Este trabajo tiene algunas limitaciones. Primero, escalar la longitud del contexto de entrenamiento aumenta el costo; trabajos futuros podrían adoptar técnicas de TTT más recientes como TNT. Segundo, aunque desarrollamos una forma fundamentada de integrar TTT en modelos base robóticos, futuras investigaciones podrían explorar objetivos orientados a la robótica para las capas TTT (como se ha explorado para visión). Finalmente, aunque RoboTTT mejora sustancialmente el rendimiento en las tareas, no maneja todos los modos de fallo encontrados en despliegue; combinarlo con aprendizaje por refuerzo para optimizar directamente el éxito de la tarea es un paso natural.
Detalles de Implementación
Desplegamos modelos entrenados en el robot bimanual de mesa YAM con cuatro cámaras RealSense D405 (superior, inferior, muñeca izquierda, muñeca derecha) que transmiten observaciones RGB a 480p. La inferencia se ejecuta en una estación de trabajo con una GPU NVIDIA RTX 5090, a una frecuencia de control de 30 Hz.
Definiciones de Tareas
Todas las tareas se puntúan en una escala de [0, 1] mediante rúbricas específicas, detalladas a continuación.
Pup Go Car
El robot ensambla el techo amarillo y la primera rueda del modelo de coche "Pup Go Car". Recoge el techo, alinea el tornillo con el agujero en la carrocería y coloca el techo. Luego agarra el taladro, lo alinea con el tornillo del techo y lo aprieta, antes de pasar el taladro a la mano derecha. A continuación, el robot voltea el coche con una mano y recoge una rueda con la mano derecha, que inserta en la carrocería. Luego vuelve a coger el taladro y aprieta la rueda, antes de pasar finalmente el taladro a la mano izquierda.
La rúbrica de puntuación: 0.05 si el techo es recogido; 0.1 si el techo se coloca sobre la carrocería; 0.25 si el tornillo del techo se inserta correctamente en la carrocería; 0.3 si el taladro es cogido; 0.35 si la punta del taladro contacta con el tornillo; 0.45 si el tornillo del techo está completamente apretado; 0.5 si el taladro se pasa a la mano derecha; 0.55 si la carrocería se voltea y estabiliza; 0.6 si el neumático es cogido; 0.75 si el neumático se inserta en la carrocería; 0.8 si el taladro es cogido; 0.85 si el taladro está alineado y contacta con el tornillo de la rueda; 0.9 si la rueda está completamente apretada; 1.0 si el taladro se pasa a la mano izquierda. Permitimos como máximo dos intentos para el montaje de la rueda.
Gear Bot
El robot ensambla todo el modelo de juguete "Gear Bot". Instala un engranaje y dos ruedas a cada lado del chasis, volteando el chasis dos veces para que los ejes queden hacia arriba. Luego recoge la "cabeza de robot" roja y la inserta en el chasis. Finalmente, recoge el control remoto y empuja el joystick para que el Gear Bot se mueva.
La rúbrica de puntuación: +0.1 por cada volteo de chasis, +0.1 por cada instalación de engranaje o rueda, +0.1 por instalación de "cabeza de robot", y +0.1 si el control remoto se usa con éxito.
Detalles de Experimentos
Líneas base Para las líneas base GR00T N1.7 y GR00T N1.7 Hist., usamos la implementación oficial, extendida para soportar entrada de frames históricos para GR00T N1.7 Hist. Para la línea base GDN, reemplazamos cada capa TTT con una capa Gated DeltaNet de la biblioteca Flash Linear Attention, manteniendo la ubicación de la capa, la compuerta y el número de parámetros igual que en RoboTTT.
Evaluación Desplegamos modelos entrenados en robots bimanuales de mesa YAM. Para asegurar condiciones iniciales idénticas entre métodos, registramos las colocaciones iniciales de objetos para cada tarea y las reproducimos en el momento de la evaluación. Evaluamos 20 ejecuciones para las tareas Pup Go Car y Circuit, y 10 ejecuciones para la tarea Gear Bot y para la tarea Circuit bajo la configuración de video humano de un solo disparo, debido a su tiempo de evaluación sustancialmente más largo.
Preguntas Frecuentes
¿Cómo actualiza RoboTTT los pesos de su modelo durante el despliegue? RoboTTT utiliza un mecanismo de entrenamiento en tiempo de prueba (TTT) que realiza actualizaciones rápidas de pesos en los datos de contexto entrantes, separadas de las actualizaciones lentas de preentrenamiento. Esto permite que la política adapte su comportamiento sobre la marcha sin reentrenar todo el modelo.
¿Qué hardware se requiere para ejecutar RoboTTT en tiempo real? El sistema se ejecuta en una estación de trabajo con una GPU NVIDIA RTX 5090, procesando cuatro flujos de cámara RGB a 480p a una frecuencia de control de 30 Hz en un robot bimanual de mesa YAM.
¿De qué tipos de contexto puede aprender RoboTTT? RoboTTT puede aprender de fuentes de contexto heterogéneas, incluyendo demostraciones humanas en video y trayectorias subóptimas del propio robot, enmascarando la pérdida de flujo en pasos temporales seleccionados.
¿Cuáles son las principales limitaciones del enfoque actual de RoboTTT? Escalar la longitud del contexto de entrenamiento aumenta el costo, las capas TTT carecen de objetivos específicos de robótica, y el método no maneja todos los modos de fallo en despliegue, lo que sugiere el aprendizaje por refuerzo como un siguiente paso complementario.