Experimentos diagnósticos siguen las inyecciones candidatas de señales robóticas durante el proceso de eliminación de ruido de un modelo de difusión de vídeo (VDM), tanto para una sola señal como para el empaquetado de varias. Miden con qué intensidad un modelo de eliminación de ruido congelado corrige el latente inyectado en distintos niveles de ruido. La disposición de las señales robóticas en el espacio latente afecta de forma medible al modelo de eliminación de ruido: el empaquetado en el dominio de la frecuencia produce latentes que este corrige mucho menos que los mosaicos espaciales o las disposiciones discontinuas en un lienzo. Por tanto, la compactación por sí sola no basta; una interfaz eficaz debe tener en cuenta la distribución.
MetaWAM se implementa sobre una arquitectura base Cosmos-Predict2 y se evalúa en RoboCasa, LIBERO, LIBERO-Plus y tres tareas de manipulación sobre mesa con Franka en el mundo real. Supera la línea base de inyección de fotogramas de RoboCasa y, a la vez, reúne varios fotogramas de señales robóticas en uno. El trabajo reformula la inyección de señales robóticas como un problema de interfaz latente que tiene en cuenta la distribución para los Modelos Conjuntos de Mundo y Acción (WAM), aporta evidencia diagnóstica de que el empaquetado en el dominio de la frecuencia se ajusta mejor a la distribución previa de un VDM preentrenado que las codificaciones espaciales de señales, e introduce un metafotograma unificado en el dominio de la frecuencia que contiene todas las señales robóticas en un único fotograma latente sin decodificador y sin cambios arquitectónicos.
Proyección espectral consciente de la distribución
Difundir un vector robótico por la cuadrícula espacial genera patrones constantes, mientras que empaquetar valores en regiones espaciales crea discontinuidades. El análisis que motiva el trabajo identifica estos modos de fallo. En cambio, MetaWAM codifica las variables robóticas en el dominio de la frecuencia y las proyecta de nuevo al espacio latente espacial.
Distribución por bandas de canales
Para cada metafotograma, MetaWAM construye un tensor de coeficientes disperso con bandas de canales disjuntas para distintas señales robóticas, una banda por señal. Seleccionar las ranuras de acción, propiocepción futura y valor recupera sus formas originales; las bandas de tarea y de propiocepción actual sirven como entradas. Los coeficientes seleccionados representan directamente las señales normalizadas, por lo que no se aplica ninguna transformada DCT inversa adicional.
Enrutamiento de tareas según las ranuras
Enmascaramiento de doble granularidad
El enrutamiento opera en dos granularidades. La máscara a nivel de ranura contiene toda la semántica de la tarea en el metafotograma. A partir de ella se deriva de forma determinista una máscara gruesa de un solo canal para la ruta original de eliminación de ruido de vídeo, de modo que los seis fotogramas visuales se condicionan mediante la interfaz que espera el VDM preentrenado.
La máscara fina contiene toda la información de la tarea. La máscara gruesa no contiene ninguna y solo existe para mantener la compatibilidad a nivel de bytes con la arquitectura base.
Conclusión
MetaWAM aborda la inyección de señales robóticas como un problema de alineación de distribuciones. Los diagnósticos con un modelo de eliminación de ruido congelado favorecen el empaquetado en el dominio de la frecuencia frente a la duplicación espacial y las alternativas basadas en regiones. Las ranuras de coeficientes fijas y la lectura analítica mediante DCT proporcionan una interfaz compacta para el aprendizaje conjunto de políticas, modelos del mundo y valores. Los resultados en RoboCasa, LIBERO, LIBERO-Plus y tareas Franka en el mundo real demuestran la eficiencia y aplicabilidad de la interfaz.
Limitaciones
Es posible que el diseño fijo de bandas y los pesos de pérdida deban adaptarse cuando la importancia de las tareas o las escalas de las señales varíen sustancialmente. El seguimiento de instrucciones sigue limitado por la arquitectura base Cosmos-Predict2; una mejor fundamentación lingüística es una dirección prometedora. LIBERO-Plus también pone de manifiesto la sensibilidad a los cambios en el fondo y en el estado inicial del robot.
Agradecimientos
Guoqiang Liang y Yiqi Lin recibieron apoyo del Programa de Becas de Doctorado afiliado al NUS Guangzhou Research Translation and Innovation Institute (GRTII).
Detalles de los experimentos
Todos los experimentos del análisis inicial usan muestras del conjunto de datos RoboCasa publicado junto con Cosmos Policy. Para el análisis de una sola señal, los autores seleccionan aleatoriamente 30 segmentos de acciones de episodios distintos y comparan formas de inyectar esta señal de baja dimensionalidad en el espacio latente.
Para el análisis del empaquetado de múltiples señales, utilizan los segmentos de acciones, los estados propioceptivos y las etiquetas de valor correspondientes para crear variantes de metafotogramas empaquetados. Esto les permite evaluar la compatibilidad distribucional de distintos esquemas de codificación de múltiples señales con el mismo modelo de difusión de vídeo preentrenado.
La evaluación utiliza cinco niveles de ruido de difusión. En cada nivel de ruido, se repite la eliminación de ruido cinco veces con ruido muestreado de forma independiente, y se promedian los resultados de las pruebas.
Detalles del entrenamiento y configuración del robot real
Entrenamiento en RoboCasa
MetaWAM se entrena en RoboCasa durante 12K pasos de optimización con cuatro GPU NVIDIA H200 y un tamaño de lote global de 1024. El entrenamiento dura 64 horas de tiempo real. Todos los parámetros del modelo base Cosmos-Predict2 se ajustan por completo.
La política predice un segmento de acciones de 32 pasos temporales y ejecuta 16 pasos antes de volver a consultarla.
Resultados de visualización adicionales
Los resultados cualitativos adicionales de la evaluación fuera de distribución en el mundo real muestran trayectorias con cambios moderados en la escena, como variaciones en la ubicación de los objetos, objetos distractores adicionales y cambios en el fondo o la disposición. Estos ejemplos complementan la evaluación cuantitativa en el mundo real al mostrar que MetaWAM puede generar trayectorias de acción coherentes ante cambios visuales y espaciales en el espacio de trabajo.
Lectura analítica y supervisión de bandas
En la política unificada, el modelo del mundo y el ajuste de valor, una señal robótica puede servir como condición limpia o como objetivo de predicción, según la tarea. Por tanto, una interfaz aprendida necesita codificación y decodificación por señal, además de enrutamiento que tenga en cuenta las máscaras. Actualizar sus codificadores también cambia los objetivos latentes que se presentan al modelo de eliminación de ruido.
Una proyección inicializada en cero no transmite ninguna señal al principio. En cambio, el empaquetado fijo y DCT/iDCT proporcionan desde el inicio del entrenamiento una correspondencia analítica estática y un método de lectura. El comportamiento de optimización observado respalda este diseño para la configuración evaluada, pero no implica que las interfaces aprendidas no puedan funcionar con otras arquitecturas o procedimientos de entrenamiento.
Preguntas frecuentes
¿Para qué está diseñado MetaWAM? Proporciona una interfaz latente unificada para señales robóticas en Modelos Conjuntos de Mundo y Acción, y las empaqueta en un único metafotograma en el dominio de la frecuencia.
¿Por qué MetaWAM utiliza el empaquetado en el dominio de la frecuencia? Los diagnósticos presentados muestran que un modelo de eliminación de ruido congelado corrige menos los latentes empaquetados en el dominio de la frecuencia que las alternativas dispuestas en mosaicos espaciales o de forma discontinua.
¿Qué pruebas de referencia y tareas se utilizaron para la evaluación? La evaluación abarca RoboCasa, LIBERO, LIBERO-Plus y tres tareas de manipulación sobre mesa con Franka en el mundo real.
¿Qué limitaciones señalan los autores? Es posible que el diseño fijo de bandas y los pesos de pérdida necesiten adaptación, y que el rendimiento sea sensible a la fundamentación lingüística, los cambios de fondo y los cambios en el estado inicial del robot.