Los Modelos de Acción del Mundo (WAMs) han impulsado recientemente la manipulación robótica al predecir conjuntamente las acciones del robot y las observaciones futuras. Este modelado conjunto proporciona contexto visual para la generación de acciones y ayuda a la política a anticipar cómo evolucionará la escena. Sin embargo, el despliegue en entornos dinámicos requiere un control en lazo cerrado: el robot debe replanificar repetidamente a partir de las observaciones más recientes para corregir errores de ejecución y responder a los cambios del entorno.
La replanificación frecuente pone de manifiesto un cuello de botella computacional en los WAMs estándar. Los muestreadores que eliminan el ruido conjuntamente procesan todo el horizonte de predicción, desde el ruido puro hasta los datos limpios, en cada ciclo de replanificación. Cada paso de eliminación de ruido procesa la secuencia completa de vídeo-acción, lo que hace que las evaluaciones repetidas del modelo sean computacionalmente costosas. La latencia de inferencia resultante retrasa las actualizaciones de las acciones y limita la capacidad de respuesta en lazo cerrado. Algunos métodos logran una inferencia más rápida omitiendo la generación de vídeo futuro durante las pruebas, a costa de perder predicciones visuales explícitas que podrían orientar la generación de acciones.
Sostenemos que la eliminación de ruido puede organizarse de forma más eficiente entre los ciclos de replanificación. Los muestreadores convencionales basados en fragmentos eliminan completamente el ruido de un nuevo horizonte de predicción en cada replanificación, incluso cuando el control de horizonte recedente ejecuta solo una parte inicial. La cola no ejecutada puede aportar información a las acciones actuales, pero se descarta en lugar de reutilizarse entre replanificaciones. Conservar y refinar progresivamente los fragmentos futuros de vídeo-acción entre ciclos puede preservar el contexto predictivo y reutilizar el cálculo de eliminación de ruido, reduciendo los pasos secuenciales necesarios para producir el siguiente fragmento ejecutable.
Por ello, presentamos Rolling-WAM, una formulación que recoge esta intuición distribuyendo la eliminación de ruido entre ciclos sucesivos de replanificación. Basado en el concepto de Rolling Diffusion para la generación de secuencias, Rolling-WAM mantiene una ventana deslizante de fragmentos alineados de vídeo-acción con niveles de ruido progresivamente mayores hacia el futuro. En cada ciclo de replanificación, solo el fragmento de acción inmediato se somete a una eliminación completa del ruido para su ejecución, mientras que los fragmentos más lejanos permanecen parcialmente desruidizados. Esto recuerda la intuición de la planificación humana: las acciones a corto plazo son concretas, mientras que los planes más lejanos siguen siendo provisionales y se refinan a medida que llegan nuevas observaciones.
Después de ejecutar el primer fragmento de acción, la ventana avanza, conserva las predicciones restantes y añade un nuevo fragmento inicializado con ruido gaussiano. A continuación, las predicciones conservadas se refinan conjuntamente con el nuevo fragmento, condicionadas por la nueva observación de cámara adquirida. A medida que los fragmentos avanzan por la ventana, sus pasos de eliminación de ruido se distribuyen entre los ciclos de replanificación. Por tanto, cada ciclo en régimen estacionario solo requiere una fracción del total de pasos para producir el siguiente fragmento ejecutable. El modelo se entrena con perfiles de ruido coincidentes, y los tokens de acción atienden a futuros visuales cuyo ruido se ha eliminado parcialmente a lo largo de la ventana.
Rolling-WAM se evalúa en bancos de pruebas de simulación, incluidos LIBERO y RoboTwin, así como en tres tareas de manipulación humanoide en el mundo real con el Unitree G1. Los experimentos demuestran que Rolling-WAM conserva las ventajas de la imaginación visual al tiempo que reduce significativamente la sobrecarga computacional. Alcanza una tasa media de éxito del 98.1% en LIBERO y del 93.3% en RoboTwin, manteniéndose a la altura de los WAMs de vanguardia o superándolos.
La principal contribución es una formulación deslizante para modelos conjuntos de vídeo-acción que distribuye la eliminación de ruido entre ciclos sucesivos de replanificación. Esta formulación logra una aceleración de inferencia declarada frente a los WAMs estándar al tiempo que mantiene un rendimiento competitivo en manipulación.
Rolling Diffusion para la Generación de Secuencias
Rolling Diffusion introduce una ventana deslizante de eliminación de ruido con niveles de ruido progresivamente mayores hacia el futuro. Este concepto se ha ampliado con niveles de ruido independientes por token para programaciones de muestreo flexibles y con eliminación de ruido bidireccional mediante destilación basada en rollouts para la generación autorregresiva de vídeos largos. Estos trabajos fundamentan la formulación deslizante de Rolling-WAM.
En la manipulación robótica, Streaming Diffusion Policy y RNR-DP mantienen búferes de acciones parcialmente desruidizadas para acelerar la generación de acciones. Sin embargo, estos métodos se centran exclusivamente en la eliminación de ruido de acciones y evalúan políticas específicas para cada tarea en entornos de escala relativamente reducida. Rolling-WAM amplía este mecanismo deslizante para vincular el modelado del mundo con la generación de acciones, permitiendo que los tokens de acción atiendan a futuros visuales parcialmente desruidizados, y evalúa el enfoque en escenarios multitarea más amplios.
Planteamiento del problema
Esta distribución puede modelarse conjuntamente o factorizarse, condicionando la generación de acciones a la predicción visual futura.
Desplegar WAMs en un lazo cerrado requiere múltiples pasos de eliminación de ruido dentro de cada ciclo de replanificación antes de ejecutar un fragmento de acción. Este proceso iterativo implica un coste computacional elevado. Aumenta la latencia de inferencia y limita la capacidad de respuesta del controlador ante nuevas observaciones.
Rolling-WAM aborda este cuello de botella distribuyendo el cálculo de eliminación de ruido entre ciclos sucesivos de replanificación. Mantiene una ventana deslizante que refina conjuntamente el siguiente fragmento de acción y su continuación futura. Este enfoque completa las predicciones a corto plazo y deja los fragmentos a más largo plazo parcialmente desruidizados en niveles de ruido escalonados. A medida que la ventana avanza con la ejecución, las predicciones conservadas siguen evolucionando con las nuevas observaciones. Este mecanismo transporta el contexto predictivo entre los límites de los fragmentos, lo que permite generar fragmentos de acción sucesivos con un futuro visual-de-acción compartido y cambiante.
Muestreo y ejecución
En cada paso de eliminación de ruido, el modelo actualiza conjuntamente las predicciones de vídeo y acciones en toda la ventana.
El modelo aplica una actualización de integración de Euler utilizando la velocidad de flujo predicha para avanzar el estado actual del proceso de eliminación de ruido de cada fragmento de vídeo-acción.
Una vez limpio el primer fragmento, el robot ejecuta las acciones predichas. A continuación, la ventana se desliza: elimina el fragmento ejecutado, conserva las predicciones restantes y añade un nuevo fragmento inicializado con ruido gaussiano. El robot adquiere la observación y el estado de cámara más recientes para condicionar el siguiente ciclo de replanificación.
Experimentos
Los experimentos comprueban si la eliminación de ruido deslizante puede acelerar la predicción conjunta de vídeo-acción al tiempo que conserva el rendimiento en manipulación. El éxito de las tareas se compara con un amplio conjunto de modelos de visión-lenguaje-acción y modelos de acción del mundo en LIBERO, RoboTwin 2.0 y tareas del Unitree G1 en el mundo real. Las mediciones controladas de latencia cuantifican el ahorro computacional de la eliminación de ruido deslizante. Los estudios de ablación examinan el papel del tamaño de la ventana, los programas de ruido de entrenamiento y la atención de acciones entre fragmentos.
Configuración experimental
Rolling-WAM se evalúa en los siguientes entornos. La tasa de éxito de las tareas, expresada como porcentaje, es la métrica de rendimiento principal, y se mide la latencia de replanificación para evaluar la eficiencia.
Se evalúan las suites Spatial, Object, Goal y Long de LIBERO. Cada suite contiene 10 tareas y 500 demostraciones. Las observaciones incluyen vistas RGB externas y de muñeca. Se entrena una política en las cuatro suites durante 10 épocas con un tamaño de lote efectivo de 128, y cada tarea se evalúa con 50 ejecuciones.
Rendimiento en bancos de pruebas de simulación
La primera evaluación examina si la eliminación de ruido deslizante puede ofrecer un rendimiento competitivo en manipulación con menos pasos de eliminación de ruido por ciclo de replanificación.
Rolling-WAM alcanza una tasa media de éxito del 98.1% en LIBERO, a 0.4 puntos porcentuales de los líderes conjuntos, LingBot-VA y Joint-WAM, ambos con 98.5%, y por encima de Motus, con 97.7%, y Fast-WAM, con 97.6%. El éxito oscila entre el 97.8% y el 98.2% en las cuatro suites, lo que demuestra un rendimiento sólido y constante con inferencia deslizante.
RoboTwin 2.0 pone a prueba además la manipulación bimanual con aleatorización de la escena. Rolling-WAM alcanza tasas de éxito del 93.5% y el 93.0% en entornos limpios y aleatorizados, respectivamente. Su promedio del 93.3% supera a LingBot-VA, con 92.2%, Fast-WAM, con 91.8%, y Joint-WAM, con 90.6%. La alta tasa de éxito en ambos entornos demuestra que la inferencia deslizante sigue siendo eficaz con las variaciones de escena evaluadas, sin preentrenamiento encarnado adicional. Los resultados por tarea se incluyen en el apéndice del artículo.
Rolling-WAM logra estos resultados con solo dos pasos de eliminación de ruido por ciclo de replanificación, lo que sugiere que el refinamiento conjunto de las predicciones actuales y futuras puede combinar una replanificación más rápida con un mejor rendimiento en manipulación.
También se inspeccionan las predicciones visuales conservadas para comprobar su alineación con las observaciones a medida que avanza la ejecución. El movimiento robótico imaginado y la progresión de la tarea siguen de cerca las observaciones en un ejemplo de colocación de un objeto en un armario del banco de pruebas RoboTwin 2.0, lo que ofrece una visión cualitativa del contexto visual mantenido durante la ejecución deslizante.
Conclusión
Rolling-WAM es un Modelo de Acción del Mundo eficiente que refina conjuntamente las predicciones de vídeo-acción inmediatas y futuras dentro de una ventana deslizante. Al distribuir la eliminación de ruido entre ciclos de replanificación, reduce los pasos secuenciales necesarios para producir el siguiente fragmento de acción ejecutable, utilizando al mismo tiempo futuros visuales parcialmente desruidizados para orientar la generación de acciones.
Los experimentos muestran que Rolling-WAM logra un rendimiento competitivo en LIBERO y supera a los métodos comparados en RoboTwin 2.0 y en tareas de manipulación humanoide en el mundo real, al tiempo que ofrece aceleraciones sustanciales de la inferencia frente a los WAMs conjuntos estándar. La combinación de la eliminación de ruido deslizante con optimizaciones complementarias del modelo y del sistema brinda nuevas oportunidades para el control robótico de baja latencia.
Limitaciones y trabajo futuro
Las decisiones de diseño, como los tamaños de la ventana y de los fragmentos, requieren un estudio más exhaustivo en entornos de tareas con dinámicas y frecuencias de control diferentes. A pesar de la retroalimentación de las observaciones, las predicciones conservadas pueden quedarse rezagadas ante cambios rápidos de la escena e inducir a error a la generación de acciones, especialmente con ventanas largas. La gestión adaptativa de la ventana y la ejecución asíncrona son posibles vías para mejorar la capacidad de respuesta en lazo cerrado.
Agradecimientos
Este trabajo recibió apoyo parcial de la National Science Foundation a través de NSF CPS #2434460. El USC Physical Superintelligence Lab agradece el generoso apoyo de Toyota Research Institute, Dolby, Google DeepMind, Capital One, Nvidia, Bosch, NSF y Qualcomm. Yue Wang también recibe apoyo del Powell Research Award.
Preguntas frecuentes
¿Qué problema aborda Rolling-WAM? Aborda el coste computacional y la latencia de eliminar repetidamente el ruido de horizontes completos de predicción de vídeo-acción durante el control robótico en lazo cerrado.
¿Cómo reduce Rolling-WAM la sobrecarga de inferencia? Conserva fragmentos futuros de vídeo-acción parcialmente desruidizados y los refina progresivamente entre ciclos de replanificación, en lugar de reiniciar cada vez todo el proceso de eliminación de ruido.
¿Qué rendimiento alcanza Rolling-WAM en los bancos de pruebas de simulación? Alcanza una tasa media de éxito del 98.1% en LIBERO y una tasa media de éxito del 93.3% en RoboTwin 2.0.
¿Cuáles son las principales limitaciones identificadas por los autores? Las predicciones conservadas pueden quedarse rezagadas ante cambios rápidos de la escena, especialmente con ventanas largas, mientras que los tamaños de la ventana y de los fragmentos requieren más estudio en distintos entornos de tareas.