Una instanciación común de VLA preentrenado combina un modelo visión-lenguaje (VLM) con un experto en acciones basado en flujo (AE). Durante la eliminación de ruido, la política condiciona un fragmento de acción ruidoso [una expresión matemática que representa la predicción de eliminación de ruido]. Mediante un preentrenamiento a gran escala, el VLM adquiere representaciones generales de visión y lenguaje, mientras que el AE aprende prioridades motoras reutilizables para la generación de acciones. Estas capacidades preentrenadas complementarias forman la base para la adaptación a tareas específicas.
Formulación del Problema
PriorVLA aborda el desafío de adaptar modelos Visión-Lenguaje-Acción (VLA) preentrenados a tareas posteriores, preservando el conocimiento de propósito general adquirido durante el preentrenamiento a gran escala. Al ajustar finamente en conjuntos de datos posteriores reducidos, los modelos VLA corren el riesgo de perder sus prioridades motoras preentrenadas y capacidades de anclaje visual, lo que perjudica la generalización fuera de distribución (OOD).
Expertos de Acción Dual
Un AE preentrenado contiene prioridades motoras reutilizables codificadas en su dinámica de eliminación de ruido, pero el ajuste fino completo puede desplazar estas prioridades hacia patrones de acción de distribución estrecha. PriorVLA separa la preservación de prioridades de la especialización posterior dividiendo el AE preentrenado en Expertos de Acción Dual.
El Experto Previo sirve como una fuente de solo lectura de prioridades motoras: sus pesos congelados preservan el conocimiento motor preentrenado, mientras que sus representaciones internas de eliminación de ruido proporcionan características de prioridad motora a la política adaptada.
Consultas de Experto
La separación estructural preserva el AE preentrenado, pero por sí sola no hace que sus prioridades sean utilizables para la generación de acciones posteriores. Dado que las prioridades preentrenadas están distribuidas entre capas y pasos de eliminación de ruido, PriorVLA introduce Consultas de Experto como interfaces de token aprendibles adjuntas a diferentes rutas funcionales. Comprenden tres grupos:
- Consultas de Escena: Tokens aprendibles insertados en la secuencia de entrada del VLM que capturan prioridades de escena relevantes para la tarea a partir de representaciones del VLM. Sus cachés de clave-valor por capa proporcionan una interfaz compacta de prioridades de escena al Experto de Adaptación.
- Consultas Motoras: Tokens aprendibles insertados en el Experto Previo congelado que capturan prioridades motoras de sus representaciones de eliminación de ruido.
- Consultas de Acción: Tokens aprendibles insertados en el Experto de Adaptación que integran prioridades de escena y motoras para la generación de acciones posteriores.
Implementación de Máscara de Atención
La máscara de atención se implementa con una estructura de bloques donde los tokens dentro del mismo bloque usan autoatención bidireccional, mientras que los bloques posteriores atienden a los anteriores pero no viceversa. Para el Experto Previo congelado, los tokens de acción ruidosos siguen la ruta de acción preentrenada original y no pueden atender a las Consultas Motoras. Las Consultas Motoras pueden atender a los tokens de acción ruidosos del Experto Previo pero no al prefijo del VLM ni a las Consultas de Escena, asegurando que se centren en características de prioridad motora en lugar de características de escena.
Para el Experto de Adaptación entrenable, las Consultas de Acción y los tokens de acción ruidosos comparten interacción bidireccional. El Experto de Adaptación atiende a las características originales del VLM, las características de las Consultas de Escena y las características de las Consultas Motoras, pero no a los estados de acción brutos del Experto Previo, lo que mejora la estabilidad del entrenamiento.
Entrenamiento
PriorVLA optimiza el Experto de Adaptación completo, los tres grupos de Consultas de Experto y el codificador visual del VLM, manteniendo congelados todos los demás parámetros del VLM y el Experto Previo. En general, PriorVLA actualiza aproximadamente el 25% de los parámetros actualizados por el ajuste fino completo. Esto preserva las fuentes de prioridad preentrenadas en los componentes congelados del VLM y el Experto Previo, mientras permite que el codificador visual y la rama de adaptación se especialicen en los datos posteriores.
Base del Modelo VLA
PriorVLA se construye sobre un modelo VLA preentrenado que combina un VLM con un experto en acciones basado en flujo. El VLM consta de un codificador visual estilo SigLIP y un modelo de lenguaje Gemma-2B, que codifica imágenes multivista, indicaciones de lenguaje y estados propioceptivos. El experto en acciones sigue una arquitectura de transformador estilo Gemma-300M y elimina el ruido de fragmentos de acciones futuras para la generación continua de acciones.
Implementación de Expertos de Acción Dual
El Experto Previo y el Experto de Adaptación se inicializan ambos desde el AE preentrenado. El Experto Previo está congelado y sirve como fuente de solo lectura de representaciones de prioridad motora, mientras que el Experto de Adaptación es entrenable y dirige la trayectoria de eliminación de ruido que produce el fragmento de acción final. En cada paso de eliminación de ruido, ambos expertos reciben el mismo fragmento de acción ruidoso actual. La salida de eliminación de ruido del Experto Previo se descarta (no se usa en la pérdida), pero sus representaciones internas se exponen a través de Consultas Motoras.
Implementación de Consultas de Experto
PriorVLA utiliza tres grupos de Consultas de Experto aprendibles:
- Consultas de Escena se proporcionan como tokens de entrada adicionales al VLM junto con tokens de imagen multivista, tokens de indicación y tokens de estado propioceptivo. Capturan características de prioridad de escena.
- Consultas Motoras se proporcionan como tokens de entrada adicionales al Experto Previo congelado en cada paso de eliminación de ruido. Leen características de prioridad motora sin actualizar la trayectoria de acción ruidosa.
- Consultas de Acción se proporcionan como tokens de entrada adicionales al Experto de Adaptación entrenable en cada paso de eliminación de ruido. Integran características de prioridad de escena y motoras para guiar la predicción de eliminación de ruido del Experto de Adaptación.
Hiperparámetros
En todos los experimentos, PriorVLA usa AdamW con recorte de gradiente de norma global en 1.0. Los parámetros entrenables se optimizan en float32, y los parámetros preentrenados congelados se almacenan en bfloat16. A menos que se especifique lo contrario, todas las ejecuciones usan semilla aleatoria 42. PriorVLA aplica multiplicadores de tasa de aprendizaje agrupados a cuatro grupos de parámetros:
| Grupo de Parámetros | Multiplicador de Tasa de Aprendizaje |
|---|---|
| Consultas de Escena | 2.0 |
| Consultas Motoras | 4.0 |
| Consultas de Acción | 4.0 |
| Parámetros entrenables restantes | 1.0 |
Experimentos
Para evaluar exhaustivamente PriorVLA, se realizaron experimentos en RoboTwin 2.0, LIBERO y ocho tareas del mundo real en dos plataformas robóticas. La evaluación se organizó en torno a cinco preguntas:
- ¿Puede PriorVLA mejorar la adaptación posterior en comparación con el ajuste fino completo y modelos VLA de referencia sólidos?
- ¿Preservar las prioridades preentrenadas mejora la generalización fuera de distribución?
- ¿Son mayores los beneficios cuando la cobertura de datos posteriores es limitada?
- ¿Estas ganancias se transfieren a robots del mundo real en diferentes plataformas y condiciones de evaluación?
- ¿Las ganancias se explican por la preservación de prioridades preentrenadas y las interfaces de consulta aprendibles?
Datos de Entrenamiento
Para RoboTwin 2.0, se entrenó un modelo por tarea usando la configuración oficial. Se utilizó un subconjunto representativo de 13 tareas del conjunto completo de 50 tareas. La configuración estándar usa 50 demostraciones limpias por tarea. Las configuraciones de pocos ejemplos y datos grandes usan 10 y 250 demostraciones limpias por tarea, respectivamente.
Evaluación en RoboTwin 2.0
Para RoboTwin 2.0, la evaluación se realizó en las mismas 13 tareas utilizadas para el entrenamiento, bajo los modos oficiales Easy (dentro de distribución) y Hard (fuera de distribución). Se evaluó el checkpoint final de 30k con 300 rollouts por tarea para cada modo, usando la señal de éxito del simulador oficial.
Evaluación en LIBERO
Para LIBERO, se evaluaron cuatro conjuntos: Spatial, Object, Goal y Long. Cada conjunto contiene 10 tareas con 50 rollouts cada una, totalizando 500 rollouts por conjunto. Se utilizaron estados iniciales de LIBERO, con éxito medido por la señal del entorno LIBERO. La política replanifica cada 10 pasos del entorno, y se reportó el mejor checkpoint a partir de 20k pasos.
Evaluación en el Mundo Real
La evaluación en el mundo real probó el checkpoint final de 30k en 20 ensayos ID y 20 ensayos OOD por tarea. La misma política se evaluó en ambos entornos sin reentrenamiento. Para todas las tareas del mundo real, la política predice un fragmento de acción de longitud [una longitud de fragmento específica], ejecuta las primeras 15 acciones y vuelve a consultar la política con una nueva observación.
Por Qué la Preservación de Prioridades Ayuda a la Generalización OOD
La generalización fuera de distribución en la adaptación posterior de VLA es desafiante porque las demostraciones posteriores a menudo cubren solo un rango limitado de condiciones visuales, configuraciones de objetos y disposiciones del espacio de trabajo. El ajuste fino completo actualiza la ruta de generación de acciones preentrenada directamente con esta supervisión restringida, lo que puede desplazar las representaciones preentrenadas y las prioridades de acción hacia patrones posteriores estrechos.
PriorVLA mitiga esto separando la preservación de prioridades de la especialización posterior. El Experto Previo congelado preserva la ruta de generación de acciones preentrenada, mientras que el Experto de Adaptación se especializa en la generación de acciones posteriores. Las Consultas de Experto proporcionan interfaces aprendibles para usar las prioridades preservadas. Este diseño permite reutilizar las prioridades aprendidas durante el preentrenamiento a gran escala (como el anclaje visual centrado en objetos, la comprensión de escenas basada en affordances y las regularidades motoras generales) cuando las escenas de evaluación contienen condiciones no vistas.
Por Qué la Preservación de Prioridades Ayuda a la Adaptación con Pocos Ejemplos
La adaptación con pocos ejemplos amplifica el riesgo de sobrespecialización porque un número pequeño de demostraciones posteriores cubre solo un subconjunto estrecho de estados iniciales, apariencias visuales y trayectorias de acción exitosas. El Experto Previo congelado mantiene una fuente estable de características de prioridad motora, mientras que el Experto de Adaptación aprende el mapeo de acciones posteriores. Las Consultas de Experto sirven como interfaces aprendibles para seleccionar e integrar las prioridades preservadas. El modelo no necesita recuperar toda la estructura relevante solo de los pocos datos; puede reutilizar las prioridades preentrenadas y aprender cómo integrarlas para la tarea posterior.
Impactos Más Amplios
PriorVLA tiene como objetivo mejorar la adaptación eficiente en datos de políticas robóticas preentrenadas. Su impacto positivo potencial es reducir la cantidad de datos robóticos específicos de la tarea necesarios para la adaptación posterior, reduciendo costos de desarrollo y mejorando la robustez bajo cambios de distribución moderados. Los impactos negativos potenciales pueden surgir si se despliegan políticas robóticas más fuertes sin suficiente validación, lo que lleva a fallos en escenas no vistas o entornos inseguros. El método también podría ser mal utilizado en entornos de automatización inapropiados. Los experimentos en el mundo real se realizan en entornos de laboratorio controlados con medidas de seguridad adecuadas.
Estudio de Ablación
Se realizaron ablaciones en un subconjunto representativo de seis tareas de RoboTwin 2.0, siguiendo el mismo protocolo de entrenamiento y evaluación. La lista completa de tareas y los resultados por tarea se proporcionan en el apéndice.
Conclusión y Limitaciones
Aunque PriorVLA demuestra una fuerte adaptación en entornos simulados y reales, varios aspectos quedan por estudiar. Los resultados de RoboTwin 2.0 se reportan en un subconjunto representativo de 13 tareas en lugar del conjunto completo de 50 tareas porque cada tarea requiere un modelo separado. En la evaluación del mundo real, los factores OOD se aplican conjuntamente, lo que refleja cambios similares a los de despliegue pero no separa los efectos individuales. PriorVLA introduce un cómputo de inferencia adicional porque el Experto Previo congelado se ejecuta durante la eliminación de ruido; aunque manejable en el entorno de control por fragmentos, implementaciones más eficientes o lecturas previas almacenadas en caché podrían reducir aún más el costo. Un análisis más detallado de cómo surgen, interactúan y evolucionan las prioridades de escena y motoras a través de capas y pasos de eliminación de ruido queda como trabajo futuro.
Preguntas Frecuentes
P1: ¿Qué problema resuelve PriorVLA? PriorVLA aborda el desafío de adaptar modelos Visión-Lenguaje-Acción (VLA) preentrenados a tareas posteriores mientras preserva el conocimiento de propósito general adquirido durante el preentrenamiento a gran escala, particularmente para la generalización fuera de distribución y la adaptación con pocos ejemplos.
P2: ¿Cómo se configuran los Expertos de Acción Dual? El Experto Previo está congelado y sirve como fuente de solo lectura de representaciones de prioridad motora, mientras que el Experto de Adaptación es entrenable y dirige la trayectoria de eliminación de ruido que produce el fragmento de acción final. Ambos se inicializan desde el mismo experto en acciones preentrenado.
P3: ¿Cuáles son los tres tipos de Consultas de Experto? Las Consultas de Escena capturan prioridades de escena relevantes para la tarea del VLM, las Consultas Motoras capturan prioridades motoras de las representaciones de eliminación de ruido del Experto Previo congelado, y las Consultas de Acción integran ambas prioridades dentro del Experto de Adaptación para la generación de acciones.
P4: ¿Cuánto del modelo se actualiza durante el entrenamiento? PriorVLA actualiza aproximadamente el 25% de los parámetros actualizados por el ajuste fino completo, manteniendo congelados todos los parámetros del VLM excepto el codificador visual, además de todo el Experto Previo.
P5: ¿Qué puntos de referencia se utilizaron para la evaluación? La evaluación se realizó en RoboTwin 2.0 (13 tareas), LIBERO (cuatro conjuntos: Spatial, Object, Goal, Long) y ocho tareas del mundo real en dos plataformas robóticas.
P6: ¿Cómo mejora PriorVLA la generalización OOD? Al preservar el Experto Previo congelado como una fuente estable de prioridades motoras del preentrenamiento a gran escala, PriorVLA permite que el modelo reutilice conocimiento motor y visual de propósito general cuando las condiciones de evaluación difieren de la distribución de entrenamiento posterior.