Investigadores han desarrollado FabriVLA, un modelo compacto de visión-lenguaje-acción que logra un 92% de éxito en 50 tareas diferentes de manipulación robótica en el banco de pruebas Meta-World MT50. El modelo utiliza un backbone de visión-lenguaje de mil millones de parámetros combinado con un cabezal de acción basado en flow-matching, y se entrena de extremo a extremo en una sola etapa. Esto demuestra que la manipulación precisa de múltiples tareas no requiere modelos VLM masivos de miles de millones de parámetros.
Tabla de Contenidos
- Lo que los Investigadores Construyeron
- Resultados Clave
- Cómo Funciona
- Por Qué Esto Importa para la Robótica
- Limitaciones y Preguntas Abiertas
- Preguntas Frecuentes
- Conclusión
Lo que los Investigadores Construyeron
FabriVLA es un modelo ligero de Visión-Lenguaje-Acción (VLA) diseñado para manipulación robótica precisa de múltiples tareas. Consta de tres componentes principales: un backbone de visión-lenguaje InternVL3.5 (alrededor de mil millones de parámetros), un codificador de estado que procesa la pose del efector final y las posiciones de los objetos, y un cabezal de acción basado en flow-matching que genera secuencias de acciones.
El cabezal de acción incorpora dos elementos de diseño novedosos. La autoatención con compuerta permite que los tokens de acción en diferentes pasos temporales se atiendan entre sí a través de una compuerta aprendible que comienza cerrada y se abre gradualmente durante el entrenamiento. Esto ayuda al modelo a capturar dependencias temporales a lo largo del horizonte de 50 pasos de acción sin desestabilizar la optimización temprana. La fusión de capas superficiales del VLM combina la última capa del VLM con una capa intermedia, exponiendo tanto el contexto semántico de alto nivel como los detalles espaciales de bajo nivel al cabezal de acción, algo crítico para la localización precisa de objetos y tareas que requieren contacto.
FabriVLA se entrena en una sola etapa en el conjunto de datos Evo-1 Meta-World (2500 trayectorias en 50 tareas). Todos los parámetros, incluido el backbone del VLM, se liberan y optimizan conjuntamente desde el principio. El modelo completo cabe en una sola GPU y no requiere los backbones de miles de millones de parámetros que utilizan muchos modelos VLA contemporáneos.
Resultados Clave
En el banco de pruebas Meta-World MT50 (50 tareas de manipulación en cuatro niveles de dificultad), FabriVLA alcanza una tasa de éxito promedio por nivel del 90.0% y una tasa de éxito general por episodio del 92.0%. El modelo se desempeña de manera consistente en todos los niveles de dificultad:
| Nivel de Dificultad | Tasa de Éxito |
|---|---|
| Fácil | 95.0% |
| Medio | 88.2% |
| Difícil | 86.7% |
| Muy Difícil | 90.0% |
| Promedio por Nivel | 90.0% |
| General por Episodio | 92.0% |
Un estudio de ablación controlado (con el backbone VLM congelado por eficiencia) revela que el mecanismo de autoatención con compuerta es el componente decisivo. Agregar autoatención con compuerta al cabezal de acción base eleva el éxito promedio por nivel del 48.5% al 57.7% y el éxito general por episodio del 55.4% al 66.9%. La fusión de capas superficiales del VLM contribuye adicionalmente en el modelo completo, mejorando la línea base de solo capa profunda en 7.1 y 5.2 puntos porcentuales en las puntuaciones promedio por nivel y general, respectivamente.
Cómo Funciona
FabriVLA trata la generación de acciones como un problema de flow-matching. En lugar de predecir acciones directamente, aprende un campo vectorial dependiente del tiempo que transforma suavemente ruido uniforme en fragmentos de acciones de experto. El cabezal de acción predice un horizonte de 50 pasos de acción (fragmento de acciones) que se ejecuta en un horizonte deslizante.
La autoatención con compuerta se implementa como un bloque transformador donde los tokens de acción pueden atenderse entre sí, pero la atención está controlada por una compuerta aprendible inicializada en cero. Al inicio del entrenamiento, la compuerta está cerrada: el bloque se comporta solo como atención cruzada, donde cada token de acción solo atiende al contexto del VLM. A medida que avanza el entrenamiento, la compuerta se abre, permitiendo gradualmente que el modelo aprenda dependencias entre pasos. Esto evita las dificultades de optimización que surgen cuando los tokens de acción inicializados aleatoriamente deben atenderse entre sí desde cero.
La fusión de capas superficiales del VLM concatena la salida de la última capa del VLM con una capa intermedia (capa 6 de InternVL3.5). La capa final proporciona una comprensión semántica rica para el razonamiento a nivel de tarea, mientras que la capa intermedia retiene características espaciales de nivel inferior necesarias para el posicionamiento preciso y el contacto. Esta representación fusionada se introduce en el mecanismo de atención cruzada del cabezal de acción.
El codificador de estado utiliza un MLP de dos capas con activación ReLU para incrustar el estado del robot (pose del efector final, estado del gripper, posiciones de los objetos) en un solo token que se antepone a la secuencia de contexto del VLM. El entrenamiento se ejecuta durante 150k pasos en una sola GPU con precisión mixta y optimización DeepSpeed ZeRO-2.
Por Qué Esto Importa para la Robótica
FabriVLA muestra que un modelo VLA con solo un backbone de 1B de parámetros puede igualar o superar el rendimiento de modelos mucho más grandes en benchmarks de manipulación multitarea. Esto tiene implicaciones directas para el costo y el despliegue. Los modelos más pequeños requieren menos memoria de GPU, menor latencia de inferencia y pueden ejecutarse en hardware de borde, lo que los hace prácticos para aplicaciones robóticas del mundo real.
La arquitectura es modular: el cabezal de acción basado en flow-matching, la autoatención con compuerta y la fusión de capas son opciones de diseño transferibles que pueden aplicarse a otros backbones VLM. Esto abre la puerta a modelos ligeros que pueden entrenarse con conjuntos de datos más pequeños y ajustarse para tareas específicas sin presupuestos computacionales masivos.
Para compradores de robots e ingenieros que evalúan robots industriales usados o robots de almacén, un VLA compacto como FabriVLA podría permitir capacidades multitarea sin requerir las últimas GPU de alta gama. También sugiere que los robots de próxima generación podrían lograr una manipulación versátil con una computación a bordo relativamente modesta.
Limitaciones y Preguntas Abiertas
Todas las evaluaciones se realizaron en simulación (Meta-World); la transferencia al mundo real aún está pendiente de demostración. El benchmark cubre solo 50 tareas, y aunque variadas, no capturan toda la amplitud de los escenarios de manipulación industrial. El horizonte de acción está fijado en 50 pasos, lo que puede no ser suficiente para tareas de horizonte largo que requieren cientos de acciones.
El estudio de ablación se realizó con el backbone VLM congelado y pasos de entrenamiento reducidos, por lo que la contribución relativa de la autoatención con compuerta en el modelo completo entrenado conjuntamente puede diferir de los números reportados. Además, no se exploró el rendimiento del modelo en tareas no vistas (generalización cero disparo).
Finalmente, FabriVLA utiliza un backbone VLM específico (InternVL3.5). No está claro qué tan bien generalizan las opciones de diseño a otros backbones o por qué se eligió la capa 6 para la fusión superficial.
Preguntas Frecuentes
¿Qué hace diferente a FabriVLA de otros modelos VLA? FabriVLA utiliza un cabezal de acción basado en flow-matching con autoatención con compuerta y fusión de capas superficiales, todo entrenado conjuntamente sin congelar, logrando un alto rendimiento con solo un backbone VLM de 1B de parámetros.
¿Cómo se compara FabriVLA con modelos que usan backbones más grandes? FabriVLA iguala o supera los resultados reportados de muchos modelos VLA más grandes en Meta-World MT50, logrando un 92% de éxito general a pesar de usar un modelo de visión-lenguaje comparativamente pequeño.
¿Se puede desplegar FabriVLA en robots reales? El trabajo actual se limita a la simulación, pero el pequeño tamaño del modelo (1B de parámetros) lo convierte en un candidato sólido para el despliegue en hardware de borde. Los experimentos con robots reales son un paso natural.
¿Qué tareas maneja FabriVLA? Realiza 50 tareas del conjunto Meta-World MT50, que van desde alcanzar y empujar simples hasta tareas complejas como abrir puertas, insertar clavijas y ensamblar tuercas.
Conclusión
FabriVLA logra resultados de vanguardia en manipulación multitarea con una arquitectura ligera que no depende de VLM masivos. Sus diseños de autoatención con compuerta y fusión de capas superficiales son contribuciones prácticas que podrían influir en el desarrollo futuro de modelos VLA. El modelo demuestra que los modelos VLA compactos y eficientes pueden ofrecer un rendimiento de manipulación preciso y multitarea.