Desplegar políticas visuomotoras reactivas en robots físicos requiere inferencia en tiempo real, pero las arquitecturas modernas incurren en sobrecargas de latencia significativas al procesar observaciones visuales de alta dimensión. Proponemos una política de flujo reactivo en tiempo real que rediseña el pipeline de procesamiento para permitir respuestas rápidas, similares a reflejos, manteniendo el rendimiento de la tarea. Nuestro enfoque desacopla el procesamiento visual del control, utilizando una vía propioceptiva ligera que opera a 1 kHz, con contexto visual proporcionado de forma asíncrona.
Visión General de la Arquitectura
La idea central es que los comportamientos reactivos dependen principalmente de la retroalimentación propioceptiva, mientras que la información visual proporciona contexto espacial a una escala temporal más gruesa. Diseñamos una arquitectura de doble flujo: una política propioceptiva rápida que funciona a frecuencias de kilohercios, y un flujo de procesamiento visual más lento que se actualiza a 10 Hz. El flujo propioceptivo utiliza una formulación de política de difusión condicionada a las características visuales más recientes.
Metodología de Entrenamiento
Entrenamos el codificador visual por separado usando clonación de comportamiento en datos de demostración, luego lo congelamos durante el entrenamiento de la política propioceptiva. La política propioceptiva se entrena utilizando un objetivo de flujo matching que aprende a generar trayectorias suaves y reactivas condicionadas al estado propioceptivo actual y la incrustación visual más reciente. Este enfoque de entrenamiento desacoplado permite un aprendizaje eficiente sin retropropagación de extremo a extremo a través de todo el sistema.
Implementación en Tiempo Real
El sistema se ejecuta en un escritorio estándar con una GPU para la inferencia visual y un hilo de CPU separado para la política propioceptiva. La comunicación entre hilos utiliza un buffer circular libre de bloqueos para minimizar la latencia. Logramos tiempos de inferencia de extremo a extremo por debajo de 0.5 ms para el flujo propioceptivo, lo que permite reacciones dentro de un solo ciclo de control del robot.
Resultados Experimentales
Evaluamos en cuatro tareas de manipulación desafiantes: captura dinámica de objetos, evitación de obstáculos durante el alcance, inserción de clavijas con perturbaciones y plegado de tela con obstáculos móviles. Nuestro método iguala o supera las tasas de éxito de las tareas de los enfoques de última generación anteriores, mientras reduce la latencia de reacción en dos órdenes de magnitud.
| Tarea | Nuestro (latencia) | SOTA anterior (latencia) | Nuestro (éxito) | SOTA anterior (éxito) |
|---|---|---|---|---|
| Captura dinámica | 0.3 ms | 42 ms | 91% | 88% |
| Evitación de obstáculos | 0.4 ms | 38 ms | 94% | 92% |
| Inserción de clavijas | 0.5 ms | 45 ms | 97% | 96% |
| Plegado de tela | 0.4 ms | 40 ms | 85% | 83% |
Estudios de Ablación
Realizamos experimentos de ablación para entender la contribución de cada elección de diseño. Eliminar las actualizaciones visuales asíncronas degrada el rendimiento en un 15-20% en tareas dinámicas. Aumentar la tasa de actualización de la política propioceptiva de 100 Hz a 1 kHz mejora el éxito de la tarea en un 8% en tareas de captura, confirmando la importancia del control de alta frecuencia para comportamientos reactivos.
Limitaciones
Nuestro enfoque tiene varias limitaciones. Primero, no abordamos fuentes de latencia externas al modelo en sí, como retrasos de comunicación entre el servidor de inferencia y el robot cliente. Segundo, mantenemos la arquitectura de la política base sin cambios; diseñarla para enfatizar más las características propioceptivas (por ejemplo, cabezales de atención dedicados para tokens propioceptivos) podría amplificar aún más la reactividad, y dejamos esta dirección para trabajo futuro.
Preguntas Frecuentes
¿Qué diferencia este enfoque de otros métodos de control robótico en tiempo real? Este trabajo desacopla el procesamiento visual del control, permitiendo una política propioceptiva ligera que funciona a 1 kHz mientras que el contexto visual se actualiza asíncronamente a solo 10 Hz.
¿Cómo funciona el proceso de entrenamiento con flujos visual y propioceptivo separados? El codificador visual se entrena primero mediante clonación de comportamiento, luego se congela. La política propioceptiva se entrena por separado usando flujo matching, condicionada a las incrustaciones visuales congeladas y al estado actual del robot.
¿Qué hardware se requiere para lograr las latencias reportadas? El sistema se ejecuta en un PC de escritorio estándar con una GPU para la inferencia visual y utiliza un hilo de CPU para la política propioceptiva de alta frecuencia, con comunicación entre hilos a través de buffers circulares libres de bloqueos.
¿Se puede aplicar este enfoque a robots con diferentes modalidades de sensores? La arquitectura de doble flujo es general: cualquier sensor de alta dimensión que proporcione contexto a escalas temporales más lentas puede procesarse asíncronamente, mientras que un bucle de retroalimentación rápido de baja dimensión maneja el control reactivo.