Robots encarnados para la manipulación industrial
Aunque los objetivos de las tareas difieren, estas aplicaciones comparten un patrón de ejecución: un robot trabaja en una estación fija y repite tareas similares, con variaciones que se concentran principalmente en los objetos objetivo y su ubicación. Estos entornos también imponen requisitos estrictos de capacidad de respuesta y fiabilidad a la política.
Inferencia en dos fases en los VLA
Nos centramos en modelos VLA que combinan un modelo visión-lenguaje (VLM) con un experto de acciones basado en difusión, una arquitectura adoptada por la mayoría de los VLA recientes.
La etapa de generación de embeddings del transformador visual (ViT) convierte las observaciones y la instrucción lingüística en embeddings de entrada. Por lo general, las observaciones visuales consisten en imágenes capturadas por las cámaras del robot. La inferencia continúa en dos fases principales, que concentran la mayor parte de la latencia.
En primer lugar, el VLM realiza una pasada de prefill sobre los embeddings del ViT para calcular las características visuales necesarias para generar acciones. En segundo lugar, el experto de acciones parte de una muestra de acciones ruidosa y la refina iterativamente mediante varios pasos de eliminación de ruido para producir un bloque de acciones.
Salto de pasos de eliminación de ruido y sus límites en los VLA
Sin embargo, estos métodos no se trasladan bien a la inferencia de modelos encarnados, porque ambas formas de reutilización operan con una granularidad de pasos de eliminación de ruido. La reutilización de pasos completos depende de que pasos consecutivos produzcan salidas casi idénticas, como ocurre a menudo en los modelos de texto a imagen y texto a vídeo, que suelen ejecutarse durante 20–50 pasos.
Los modelos VLA utilizan muchos menos pasos. Por ejemplo, GR00T solo utiliza cuatro. Por tanto, cada paso modifica sustancialmente el bloque de acciones, de modo que saltarse uno descarta un refinamiento que los pasos posteriores no pueden recuperar.
Caracterización de las cargas de trabajo encarnadas
Para identificar oportunidades de acelerar la inferencia encarnada, caracterizamos las cargas de trabajo VLA desde las perspectivas de la ejecución y del modelo. Primero localizamos los cuellos de botella de rendimiento en el prefill del VLM y la eliminación de ruido de las acciones; después examinamos la similitud de las observaciones y las trayectorias entre ejecuciones. A continuación estudiamos cómo se extiende esa similitud a los estados internos del modelo, concretamente a los estados del VLM y a las contribuciones neuronales durante la eliminación de ruido.
Similitud de trayectorias en tareas repetitivas
En los entornos industriales de líneas de montaje, los robots repiten la misma tarea utilizando un conjunto limitado de objetos en un espacio de trabajo relativamente estable. No obstante, las variaciones en la iluminación, la textura de la mesa y la pose de los objetos pueden modificar tanto las observaciones como los movimientos necesarios. Por ello, examinamos si las trayectorias de acción siguen siendo similares entre ejecuciones pese a esas variaciones.
Una trayectoria de acción es la salida observable del VLA: una secuencia temporalmente ordenada de acciones del robot que traza un recorrido continuo en el espacio 3D. Para comprobar si la repetición útil se mantiene frente a las variaciones del entorno, modelamos estos factores en una simulación. En la tarea representativa, un robot de dos brazos levanta dos botellas de bebidas y las desplaza a posiciones designadas sobre la mesa. Variamos las posiciones iniciales de las botellas y las condiciones de iluminación entre ejecuciones, y después comparamos una ejecución actual con una ejecución de referencia de la misma tarea.
Tanto la ejecución actual como la de referencia terminan en cuatro pasos de inferencia y alcanzan sus posiciones objetivo de forma correcta y estable. Aunque difieren las posiciones iniciales de las botellas y la iluminación, las trayectorias de los efectores finales y las vistas de cámara de ambos brazos permanecen estrechamente alineadas, con similitudes coseno de las trayectorias de 0.995 para el brazo izquierdo y 0.994 para el derecho.
Similitud de los estados del VLM y cobertura de tokens visuales
Al comparar las entradas y salidas de las MLP en cada capa del VLM entre las ejecuciones actual y de referencia, encontramos similitudes coseno de hasta el 98.5 % en las entradas y del 81.0 % en las salidas. Esta similitud motiva el análisis de cómo se distribuyen los cambios restantes de las salidas entre los tokens visuales. También investigamos si las diferencias en las entradas de las MLP pueden identificar los tokens responsables de la mayor parte de esos cambios.
Las regiones seleccionadas para la tarea de desplazar las botellas muestran que los parches importantes se concentran alrededor de las botellas, las pinzas y los brazos, con un número menor en las zonas del fondo que codifican el contexto de la escena. Su ubicación cambia entre bloques de acciones a medida que avanza la manipulación, lo que motiva realizar la selección en cada llamada a la política en lugar de utilizar una máscara espacial fija.
Contribución y solapamiento de las neuronas durante la eliminación de ruido
Las trayectorias similares de las ejecuciones actual y de referencia nos llevan a examinar si sus procesos de eliminación de ruido de acciones también presentan activaciones internas parecidas. Siguiendo nuestro análisis de los estados del VLM, primero comparamos las entradas y salidas de la eliminación de ruido de acciones. Aunque el ruido inicial es idéntico con la misma semilla aleatoria, los bloques de acciones generados solo alcanzan un 69 % de similitud.
Esta diferencia motiva explorar una reutilización más granular dentro de la eliminación de ruido, en lugar de reutilizar directamente las acciones de referencia. Por ello, examinamos cómo se distribuyen las contribuciones neuronales dentro de cada FFN de eliminación de ruido y si esos patrones de contribución son similares entre las ejecuciones actual y de referencia.
Para cada paso de eliminación de ruido t y capa l, cuantificamos la contribución de cada neurona a la salida del FFN mediante una puntuación de contribución.
La puntuación de contribución mide hasta qué punto cada neurona influye en la salida del FFN para un paso de eliminación de ruido y una capa determinados.
Conservar una fracción seleccionada de las neuronas captura el 84.4 % de la puntuación de contribución total.
Diseño
rMuscle combina dos mecanismos complementarios: almacenamiento en caché en dos fases para la recomputación selectiva y gestión de la caché para acceder a los datos y almacenarlos con poca sobrecarga.
La caché en dos fases utiliza una Context Cache para acelerar el prefill del VLM, limitado por el cómputo, y una Action Cache para la eliminación de ruido de acciones, limitada por el ancho de banda de memoria. La Context Cache reutiliza las salidas de las FFN para tokens visuales similares y vuelve a calcular aquellas cuyas entradas han cambiado sustancialmente. Durante la eliminación de ruido de acciones, las ejecuciones similares tienden a activar conjuntos solapados de neuronas importantes. La Action Cache utiliza esos patrones de activación de referencia para seleccionar qué neuronas evaluar y qué pesos cargar.
La gestión de la caché proporciona a la caché en dos fases las entradas y salidas de referencia de las FFN y las máscaras neuronales de una biblioteca compartida. Para reducir la sobrecarga de memoria, la biblioteca conserva entradas de referencia compactas y máscaras neuronales, y los estados ampliados de las FFN solo se reconstruyen cuando es probable que se recupere una referencia. Las referencias se seleccionan mediante el contexto visual y el historial del estado del robot. Además, se utiliza un conjunto de trabajo deslizante en la GPU para limitar la residencia en memoria, combinado con un presupuesto de reconstrucción que restringe el trabajo de reconstrucción.
Gestión de la caché
La gestión de la caché proporciona a la caché en dos fases los datos de referencia pertinentes, al tiempo que limita la ocupación de la GPU y el trabajo de reconstrucción. Combina la reconstrucción en línea asíncrona, la recuperación sensible al contexto y la precarga mediante ventanas deslizantes guiada por la localidad temporal.
Los estados ampliados del VLM son demasiado grandes para almacenarlos para cada referencia de todas las tareas. Con entradas de tres vistas, cada una de las 17 capas FFN conserva un par de tensores BF16 de entrada y salida, aproximadamente 107 MB por llamada a la política. Un episodio de 40 llamadas a la política requiere, por tanto, unos 4.28 GB de estados intermedios. Almacenar únicamente las entradas compactas evita esta expansión, pero reconstruir los estados de forma síncrona volvería a situar el cómputo denso del VLM en la ruta crítica de la inferencia.
rMuscle reconstruye las referencias durante la ejecución física de las acciones. El repositorio conserva las entradas del modelo de referencia y las máscaras neuronales calculadas fuera de línea. Durante una ventana de ejecución, la GPU obtiene las entradas de las próximas posiciones candidatas y ejecuta densamente el prefill del VLM para preparar sus estados FFN. Como las máscaras neuronales se calculan fuera de línea, la reconstrucción no vuelve a ejecutar la eliminación de ruido de acciones.
Solo el conjunto de trabajo activo mantiene estados FFN ampliados en la GPU. Esta organización reduce el almacenamiento persistente en el host y el disco, pero no reduce la huella de GPU de una entrada reconstruida individual. Las posiciones candidatas se determinan mediante la política de precarga descrita a continuación.
Implementación
Esta sección describe cómo rMuscle construye la caché fuera de línea y prepara y recupera referencias almacenadas en caché para acelerar la inferencia en línea.
Evaluación
Evaluamos rMuscle para responder a tres preguntas principales:
- ¿Cuánta aceleración proporciona y cuánto contribuye cada optimización?
- ¿Preserva las tasas de éxito de las tareas en una variedad de tareas, y cómo afectan a estas las configuraciones de la caché?
- ¿Qué sobrecarga de memoria adicional introduce?
Rendimiento de la inferencia
En comparación con los métodos que saltan pasos de eliminación de ruido, rMuscle también acelera la inferencia al acelerar tanto el prefill del VLM como la eliminación de ruido de acciones. Aunque los métodos de salto de pasos pueden lograr una mayor aceleración en la etapa de eliminación de ruido al omitir pasos de forma agresiva, esto se produce a costa de reducir las tasas de éxito de las tareas.
Sobrecarga de memoria
Cuantificamos la huella de la caché de CPU de rMuscle y comparamos su uso de memoria de GPU con la ejecución convencional. Para representar las crecientes necesidades de referencias de las tareas más difíciles, aumentamos la capacidad de caché por tarea de 200 entradas en 8 episodios de referencia a 800 entradas en 32 episodios de referencia, al tiempo que ampliamos la ventana de candidatos desde una ventana inicial más pequeña hasta una ventana final más grande.
En una RTX 4090, la caché de CPU representa entre el 3.7 y el 14.9 % de los 32 GB de memoria del host. La memoria de GPU aumenta de 8.4 GB con la ejecución convencional a 9.4–11.4 GB, lo que eleva la ocupación menos de un 13 %.
En Jetson Thor, donde la CPU y la GPU comparten 128 GB de memoria unificada, la ocupación aumenta del 6.6 % al 8.3–12.6 %. En conjunto, rMuscle admite hasta 800 entradas de inferencia almacenadas en caché con menos de 3 GB adicionales de memoria de GPU en la RTX 4090 y como máximo 6.0 puntos porcentuales adicionales de ocupación de memoria unificada en Jetson Thor.
Estudios de ablación
Evaluamos las contribuciones de la caché y las relaciones entre calidad y latencia utilizando la configuración evaluada del modelo VLA en RoboTwin.
Contribuciones de la caché
Comparamos FlashRT, únicamente Context Cache, únicamente Action Cache y el sistema completo para aislar la contribución de cada caché a la latencia en la RTX 4090 y Jetson Thor.
Repositorio de referencias
La variante de rMuscle sin repositorio de caché utiliza como referencia la llamada anterior a la política dentro del mismo episodio, en lugar de recuperar una del repositorio. La configuración predeterminada alcanza una tasa de éxito del 35.2 %, frente al 25.9 % sin el repositorio de referencias, con una latencia similar.
Estos resultados ponen de relieve el valor de las referencias de ejecuciones anteriores para preservar la calidad de la política, mientras que la latencia similar sugiere que la gestión de la caché añade una sobrecarga insignificante a la ruta crítica.
Relación entre calidad y rendimiento
Variamos la proporción de recomputación de tokens visuales y la fracción de neuronas de rMuscle. Comparamos las configuraciones Fast, Default y Slow en la RTX 4090 junto con Vanilla, DP-Cache, NIRVANA y la ablación del repositorio descrita anteriormente.
Default aumenta el éxito del 23.0 % al 35.2 % frente a Fast, con una latencia adicional de 4.9 ms. Default iguala la tasa de éxito de Vanilla, mientras que Slow alcanza una tasa ligeramente superior. Reducen la latencia respecto a Vanilla en 10.5 ms y 4.5 ms, respectivamente.
Estos resultados cumplen nuestro objetivo de diseño: preservar la calidad de la política y reducir al mismo tiempo la latencia de inferencia. En consonancia con los resultados de perfilado, Default ofrece la menor latencia sin sacrificar el éxito.
Trabajo relacionado
VLA-Perf explora analíticamente cómo influyen la arquitectura, la ubicación del hardware y las decisiones de servicio en la latencia de inferencia, mientras que un estudio entre distintas XPU mide el consumo energético y la latencia en aceleradores heterogéneos y valida DP-Cache en LIBERO y en un robot Franka físico.
Discusión
La latencia de la política es el intervalo entre la última acción de un bloque y la primera del siguiente, mientras que las acciones dentro de un bloque se ejecutan a 20–30 Hz. A medida que la frecuencia de llamadas a la política se aproxima a la frecuencia de ejecución, los límites entre bloques se vuelven más suaves y el robot puede volver a observar y reaccionar ante los cambios del entorno con mayor frecuencia.
Por tanto, una menor latencia de inferencia mejora la capacidad de respuesta, la suavidad del movimiento y el rendimiento de las tareas. Como cada episodio requiere entre 4 y 40 llamadas a la política, reducir la latencia por llamada acorta el ciclo total de la tarea y permite que un robot en una estación fija complete más tareas por hora con el mismo hardware.
Preguntas frecuentes
¿Qué es rMuscle? rMuscle es un sistema de caché que acelera la inferencia de modelos visión-lenguaje-acción en tareas repetitivas con robots encarnados.
¿Cuáles son los dos componentes principales de rMuscle? Utiliza una Context Cache para el prefill del VLM y una Action Cache para la eliminación de ruido de acciones.
¿Cómo preserva rMuscle la calidad de las tareas? Recomputa selectivamente los tokens visuales modificados y las neuronas importantes durante la eliminación de ruido, y recupera referencias de ejecuciones anteriores.
¿Qué sobrecarga de memoria introduce rMuscle? En una RTX 4090, utiliza menos de 3 GB adicionales de memoria de GPU y entre el 3.7 y el 14.9 % de los 32 GB de memoria del host para las capacidades de caché evaluadas.