Una nueva arquitectura ligera llamada TurboVLA demuestra que una política de control robótico en tiempo real puede entender tanto escenas visuales como instrucciones en lenguaje natural mientras se ejecuta a 32 Hz en una GPU RTX 4090 de consumo, usando menos de 1 GB de memoria de video. Al reemplazar el enorme modelo de lenguaje como columna vertebral con un módulo compacto de interacción visión-lenguaje, el sistema alcanza tasas de éxito competitivas en tareas de manipulación bimanual y con un solo brazo, sin sacrificar velocidad ni eficiencia de memoria.
Tabla de Contenidos
- Lo que los Investigadores Construyeron
- Resultados Clave
- Cómo Funciona
- Por Qué Esto es Importante para la Robótica
- Limitaciones y Preguntas Abiertas
- Preguntas Frecuentes
- Conclusión
Lo que los Investigadores Construyeron
TurboVLA es un modelo Visión-Lenguaje-Acción (VLA) diseñado para control robótico en tiempo real. A diferencia de la mayoría de los VLA actuales que dependen de un gran modelo de lenguaje (LLM) para fusionar información visual y textual, TurboVLA mantiene las dos modalidades separadas y utiliza un módulo ligero de interacción multimodal para alinearlas. Este diseño reduce drásticamente los requisitos de cómputo y memoria.
El modelo recibe tres entradas: una imagen de una cámara montada en la muñeca o fija, una instrucción en lenguaje natural (por ejemplo, "levanta el bloque rojo") y las posiciones articulares actuales del robot. Produce como salida una secuencia de acciones continuas de ángulos articulares: un bloque de 50 pasos para tareas bimanuales, o un bloque más corto para tareas con un solo brazo. La predicción de acciones se realiza mediante un decodificador compacto estilo ACT (Action Chunking with Transformers).
TurboVLA puede ejecutarse a 32 Hz en una RTX 4090 con menos de 1 GB de VRAM, lo que lo hace viable para despliegue en el mundo real sin hardware de servidor costoso. Los autores lo evaluaron en el benchmark LIBERO de un solo brazo, el benchmark bimanual RoboTwin 2.0 y una plataforma robótica real.
Resultados Clave
Los investigadores compararon TurboVLA con varios VLA de última generación, incluidos modelos centrados en LLM como RT-2 y Octo, y políticas más ligeras como ACT y Diffusion Policy. Resultados clave:
- LIBERO (un solo brazo): TurboVLA alcanzó una tasa de éxito promedio del 91.2% en 10 tareas, igualando a los mejores métodos basados en LLM, siendo 10 veces más rápido y usando 20 veces menos memoria.
- RoboTwin 2.0 (bimanual): En 50 tareas bimanuales condicionadas por lenguaje, TurboVLA logró una tasa de éxito promedio del 78.5% con un solo modelo multitarea. Esto es competitivo con StarVLA (80.3%) pero con dos tercios menos parámetros y la mitad de latencia de inferencia.
- Eficiencia: Parámetros totales: 185M (frente a más de 1B en VLA basados en LLM). Latencia de inferencia: 31 ms (32 Hz) en RTX 4090. Uso máximo de VRAM: 0.9 GB.
- Despliegue en robot real: En una configuración bimanual física, TurboVLA logró un 82% de éxito promedio en 5 tareas de manipulación (por ejemplo, doblar tela, apilar tazones).
La siguiente tabla del artículo muestra la comparación de eficiencia y rendimiento entre métodos (valores aproximados del texto):
| Método | Parámetros | VRAM de inferencia (GB) | Latencia (ms) | Tasa de éxito en RoboTwin 2.0 |
|---|---|---|---|---|
| StarVLA (basado en LLM) | 1.2B | 4.2 | 65 | 80.3% |
| Octo (basado en difusión) | 350M | 2.8 | 88 | 74.1% |
| ACT (línea base) | 120M | 1.1 | 45 | 62.7% |
| TurboVLA | 185M | 0.9 | 31 | 78.5% |
Cómo Funciona
La eficiencia de TurboVLA proviene de un diseño de dos flujos que evita la pesada fusión multimodal de un LLM.
Módulo de Interacción Visión-Lenguaje: Las características visuales se extraen mediante un codificador de visión DINOv3 ViT-L, y las características de la instrucción son codificadas por un codificador de texto ligero (por ejemplo, un pequeño transformador). En lugar de alimentar ambos a un LLM grande, TurboVLA los pasa a través de una serie de capas de atención cruzada bidireccional. Cada capa utiliza:
- Normalización de capa
- Atención de visual a instrucción (contexto de la escena inyectado en el flujo de lenguaje)
- Atención de instrucción a visual (semántica de la tarea condiciona las características visuales)
- Dos redes feed-forward específicas de modalidad con conexiones residuales
Después de varias capas de este tipo, los dos flujos se concatenan en una representación multimodal fusionada. Este módulo compacto alinea eficientemente objetos objetivo, atributos y relaciones espaciales con la instrucción, sin la sobrecarga de capacidad generativa o de razonamiento.
Predicción Continua de Bloques de Acción: Las características multimodales fusionadas, combinadas con el estado del robot (posiciones articulares), se introducen en un decodificador transformador ligero estilo ACT. Este decodificador predice un bloque de acciones futuras (por ejemplo, 50 pasos de posiciones articulares de 14 dimensiones para control bimanual) en una sola pasada hacia adelante. El bloque de acciones permite una ejecución suave en bucle cerrado sin generación autoregresiva paso a paso, reduciendo aún más la latencia.
Todo el modelo se entrena de extremo a extremo con datos de demostración mediante clonación de comportamiento con una pérdida L1 en las acciones. El entrenamiento utiliza 55k pasos con 1k de calentamiento y tamaño de lote 192 en una sola RTX 4090.
Por Qué Esto es Importante para la Robótica
TurboVLA responde a una pregunta crítica: ¿podemos tener control robótico en tiempo real que siga instrucciones y quepa en hardware asequible? La mayoría de los VLA actuales vienen con LLM de miles de millones de parámetros, requiriendo cómputo a nivel de nube y alta latencia de inferencia que dificulta el control en bucle cerrado. TurboVLA muestra que una arquitectura pequeña y especializada puede ofrecer un éxito de tarea comparable mientras se ejecuta a 32 Hz, lo suficientemente rápido para manipulación reactiva.
Para robots de almacén, cobots usados en plantas de fabricación, o robots humanoides que necesitan responder rápidamente a comandos de voz, esto es un cambio de juego. Significa que un controlador robótico puede ejecutarse en una sola GPU de consumo, reduciendo drásticamente los costos de hardware. También abre el despliegue en el borde—ejecutar la política directamente en el ordenador de a bordo del robot sin servidores externos ni latencia de red.
El diseño ligero también reduce el consumo de energía y el estrés térmico, lo que importa para robots móviles y drones. Para empresas que construyen o compran robots industriales, TurboVLA sugiere que la comprensión semántica y el control en tiempo real pueden combinarse sin hardware de inferencia costoso.
Limitaciones y Preguntas Abiertas
TurboVLA es un gran paso, pero tiene limitaciones claras. El módulo de interacción visión-lenguaje no puede realizar razonamiento general ni seguir instrucciones complejas de múltiples pasos como lo haría un LLM—sobresale en alineación específica de la tarea, no en diálogo abierto.
La evaluación actual se centra en manipulación sobre mesa en entornos controlados. Generalizar a entornos desordenados y dinámicos o tareas que requieren razonamiento semántico (por ejemplo, "coloca el objeto donde corresponde según el contexto") probablemente necesite una comprensión del lenguaje más sofisticada. Además, el predictor de bloques de acción solo funciona en bucle cerrado cuando se ejecuta continuamente; si el robot encuentra un estado inesperado, puede no recuperarse sin soporte adicional del framework.
Finalmente, los datos de entrenamiento provienen principalmente de demostraciones de teleoperación quirúrgica. Qué tan bien se transfiere TurboVLA a otras plataformas robóticas o tareas con diferentes dinámicas aún se desconoce. Escalar el enfoque a tareas más diversas manteniendo baja la memoria y la latencia sigue siendo un desafío abierto.
Preguntas Frecuentes
¿Qué hardware necesita TurboVLA para ejecutarse? Una sola NVIDIA RTX 4090 con al menos 1 GB de VRAM disponible. El modelo usa un pico de 0.9 GB y se ejecuta a 32 Hz.
¿Cómo se compara TurboVLA con usar un gran modelo de lenguaje para robótica? Es 10–20 veces más rápido y mucho más eficiente en memoria, pero carece de las capacidades de razonamiento general y diálogo de un LLM. Para tareas sencillas de recoger y colocar o manipulación, sus tasas de éxito son comparables.
¿Puede TurboVLA controlar cualquier brazo robótico? La salida de acción son comandos de posición articular, por lo que puede adaptarse a cualquier robot con la misma configuración de articulaciones. Los experimentos actuales usaron configuraciones bimanuales y de un solo brazo con control articular absoluto.
¿Qué hace que TurboVLA sea tan eficiente en memoria? La innovación clave es un módulo de atención cruzada bidireccional que alinea características de visión y lenguaje sin un gran modelo de lenguaje. Esto mantiene el número total de parámetros por debajo de 200 millones y evita almacenar grandes cachés KV durante la inferencia.
Conclusión
TurboVLA demuestra que las políticas VLA ligeras y en tiempo real no son una fantasía lejana—funcionan hoy en una sola RTX 4090 con menos de 1 GB de memoria. Al reemplazar la columna vertebral del LLM con un módulo compacto de interacción multimodal, el equipo logró tasas de éxito casi de última generación en benchmarks de manipulación mientras se ejecutaba a 32 Hz. El próximo desafío será extender esta eficiencia a tareas más complejas y entornos dinámicos sin sacrificar velocidad.