Escalar modelos de visión, lenguaje y acción para un control robótico más rápido y capaz

Escalar modelos de visión, lenguaje y acción para un control robótico más rápido y capaz

Ruixi Yu, Dairu Liu, Xuchuan Chen, Zekun Qi, Zekai Li +7 más

5 min de lectura•17 nov 2026

Entrenamiento e inferencia

En este enfoque, las características adaptadas de la arquitectura base, el estado del robot y su morfología se utilizan para condicionar la predicción de acciones. La función de pérdida promedia el error cuadrático sobre las dimensiones de acción y los pasos temporales válidos. Los valores de estado y acción se normalizan utilizando los percentiles 1 y 99 de los datos de entrenamiento. Los gradientes actualizan únicamente el módulo de salida de acciones, por lo que las características de la arquitectura base se precalculan una sola vez y se reutilizan durante el entrenamiento.

Experimentos

Se comparan políticas con arquitecturas base de modelos de visión y lenguaje que van de 2B a 552B parámetros. Los experimentos miden el éxito de las tareas en simulación y el tiempo de inferencia de las políticas, y varían el número de demostraciones para medir la eficiencia de muestras. También se evalúan las políticas en un robot bimanual.

Latencia de inferencia

ScaleVLA obtiene las características del modelo de visión y lenguaje en una sola pasada hacia delante por cada bloque de acciones. La latencia de inferencia se mide desde que se envía la observación hasta que el cliente recibe el bloque de acciones.

Eficiencia de muestras

Se varía el número de demostraciones por tarea en LIBERO Goal y LIBERO Long, mientras que el entrenamiento se mantiene fijo en 5,000 pasos del optimizador. Todas las arquitecturas base utilizan los mismos subconjuntos anidados de demostraciones y los mismos estados iniciales de evaluación.

ScaleVLA supera sistemáticamente a las arquitecturas base más pequeñas cuando hay pocos datos, con las mejoras más notables cuando escasean las demostraciones. Con solo cinco demostraciones por tarea, aumentar la escala de la arquitectura base de 2B a 552B casi duplica la tasa de éxito en LIBERO-Goal, del 39.4% al 77.4%, y también produce mejoras sustanciales en LIBERO-Long. Cabe destacar que ScaleVLA necesita solo una quinta parte de las demostraciones para superar la línea base de 2B en LIBERO-Goal.

Estos resultados sugieren que las representaciones preentrenadas de modelos de vanguardia constituyen una base sólida para el aprendizaje de acciones y permiten aprender políticas eficaces a partir de un número limitado de demostraciones robóticas.

Tareas de evaluación y configuraciones de manipulación de ScaleVLA

Experimentos con robots reales

Para investigar si las ventajas de escalar las arquitecturas base de los modelos de visión y lenguaje van más allá de la simulación, se realizan experimentos en el mundo real con un robot bimanual. La tarea Plug In Charger de RoboDojo requiere ejecutar secuencialmente la prensión de objetos, el traspaso bimanual y una inserción precisa con mucho contacto. Esta tarea ofrece un banco de pruebas exigente para evaluar si las representaciones visuales de vanguardia pueden beneficiar tanto la manipulación en varias etapas como el control robótico de grano fino.

También se evalúa la robustez de las políticas ante perturbaciones espaciales, así como la viabilidad práctica de implementar una política de visión, lenguaje y acción de vanguardia en robots físicos.

Robot bimanual realizando la tarea de inserción de un cargador en el mundo real

Conclusión

ScaleVLA vincula las representaciones de un modelo de visión y lenguaje de 552B con acciones robóticas continuas mediante un transformador de difusión de acciones entrenado con flow matching. En LIBERO, LIBERO-PRO, RoboCasa y DexJoCo, el rendimiento mejora al aumentar la escala de la arquitectura base. En un robot real, la arquitectura base de 552B inserta un cargador con mayor fiabilidad que la de 2B.

Las características de vanguardia son más valiosas cuando los datos robóticos escasean, las condiciones cambian o se requiere precisión en el contacto, y siguen siendo lo bastante rápidas para el control en menos de un segundo, aunque requieren más hardware que las arquitecturas base más pequeñas. Estos resultados sugieren que los modelos de visión y lenguaje de vanguardia pueden servir no solo como agentes de razonamiento, sino también como base de representación para políticas robóticas aprendidas y rápidas.

Preguntas frecuentes

¿Qué es ScaleVLA? ScaleVLA vincula las representaciones de modelos de visión y lenguaje con acciones robóticas continuas mediante un transformador de difusión de acciones entrenado con flow matching.

¿Qué tamaño tiene la arquitectura base más grande evaluada? La arquitectura base del modelo de visión y lenguaje más grande tiene 552 mil millones de parámetros.

¿Cómo afecta el escalado al rendimiento con pocas demostraciones? Con cinco demostraciones por tarea, la arquitectura base de 552B alcanza un éxito del 77.4% en LIBERO-Goal, frente al 39.4% de la arquitectura base de 2B.

¿Se probó ScaleVLA en un robot físico? Sí. Se evaluó en un robot bimanual que realizaba la tarea Plug In Charger, que incluye prensión, traspaso e inserción.