Un marco de entrenamiento en dos etapas introduce una etapa dedicada de aprendizaje previo de acciones antes del entrenamiento visión-lenguaje-acción (VLA). Al entrenar un módulo de acción codificador-decodificador basado en flujo-matching únicamente con trayectorias de acción no condicionadas, equipamos la cabeza de acción con conocimiento estructurado de la distribución de acciones antes de que se enfrente a entradas visuales y lingüísticas. Una estrategia de destilación por alineación latente en etapas tempranas acelera aún más la convergencia cross-modal al anclar el VLM al espacio de embeddings de acciones aprendido. Experimentos en 13 tareas cross-embodiment validan que el enfoque propuesto logra una convergencia más rápida, tasas de éxito más altas y una compresión efectiva del historial a un costo mínimo. Además, demostramos que enriquecer los datos de la Etapa 1 produce un prior de acción más fuerte que se transfiere directamente a un mejor rendimiento downstream del VLA, confirmando la escalabilidad del marco propuesto.
Aprendizaje previo de acciones
En conjunto, estos enfoques muestran que las representaciones latentes de acciones o dinámicas pueden mejorar el aprendizaje de políticas robóticas. Sin embargo, la mayoría comienza con datos visuales, predicción de estados futuros o aprendizaje de políticas visión-acción. Nuestro enfoque, en cambio, utiliza directamente trayectorias de acción del robot, sin observaciones visuales ni instrucciones lingüísticas. Esto aísla las estadísticas intrínsecas del movimiento físico y mantiene la etapa de aprendizaje ligera.
Análisis de la dinámica de entrenamiento y la estabilidad de optimización
Más allá de las tasas de éxito final y el comportamiento de despliegue, examinamos cómo el aprendizaje previo de acciones cambia el proceso de optimización temprana del entrenamiento VLA. La pregunta clave es si el aprendizaje previo de acciones de la Etapa 1 puede reducir la carga del entrenamiento VLA en la Etapa 2, donde el modelo debe alinear las características visuales y lingüísticas con la generación continua de acciones. Los experimentos comparan los primeros 3,000 pasos de la Etapa 2 de tres variantes bajo los mismos datos, hiperparámetros y backbone VLM, aislando el efecto de la inicialización del prior de acción y el condicionamiento del historial.
Inicialización estable. El modelo sin prior comienza con un módulo de acción mal calibrado y sufre una pérdida de predicción inicial mucho mayor. En contraste, las variantes basadas en prior comienzan con un decodificador que ya modela movimiento factible, reduciendo la pérdida inicial en casi un margen significativo y alcanzando una pérdida baja mucho antes. Esto sugiere que la Etapa 1 maneja la calibración de acciones de bajo nivel antes de que comience la alineación cross-modal. La Etapa 2 puede, por lo tanto, concentrarse menos en descubrir patrones de movimiento válidos desde cero y más en adaptar estos patrones a condiciones visuales y lingüísticas.
Gradientes más suaves. La inicialización aleatoria de acciones también produce picos de gradiente grandes y recurrentes, mientras que el decodificador aprendido mantiene los gradientes pequeños y estables desde el principio. Esto es importante porque los gradientes de acción estables reducen la interferencia con las representaciones ya útiles en el backbone VLM.
Convergencia de validación más rápida. La curva MAE confirma que la ganancia no se limita a la pérdida de entrenamiento. Las variantes basadas en prior alcanzan el mismo error de validación mucho antes, indicando que el prior de acción aprendido también sirve como un prior de optimización para el aprendizaje de políticas cross-modal. La variante con historial alcanza además el MAE más bajo después del transitorio inicial, consistente con su rendimiento downstream más fuerte.
Conclusión
Presentamos un marco de entrenamiento en dos etapas que introduce una etapa dedicada de aprendizaje previo de acciones antes del entrenamiento VLA. Al entrenar un módulo de acción codificador-decodificador basado en flujo-matching únicamente con trayectorias de acción no condicionadas, equipamos la cabeza de acción con conocimiento estructurado de la distribución de acciones antes de que se enfrente a entradas visuales y lingüísticas. Una estrategia de destilación por alineación latente en etapas tempranas acelera aún más la convergencia cross-modal al anclar el VLM al espacio de embeddings de acciones aprendido. Experimentos en 13 tareas cross-embodiment validan que el enfoque propuesto logra una convergencia más rápida, tasas de éxito más altas y una compresión efectiva del historial a un costo mínimo. Además, demostramos que enriquecer los datos de la Etapa 1 produce un prior de acción más fuerte que se transfiere directamente a un mejor rendimiento downstream del VLA, confirmando la escalabilidad del marco propuesto.
Preguntas frecuentes
¿Qué es el aprendizaje previo de acciones y en qué se diferencia de otros enfoques? El aprendizaje previo de acciones entrena un módulo solo con trayectorias de acción del robot, sin usar datos visuales ni instrucciones lingüísticas. Esto aísla las estadísticas del movimiento físico, manteniendo el aprendizaje ligero en comparación con métodos que comienzan con observaciones visuales.
¿Cómo mejora el marco de entrenamiento en dos etapas el aprendizaje de políticas VLA? La Etapa 1 calibra el decodificador de acciones en patrones de movimiento antes de que comience el entrenamiento cross-modal de la Etapa 2. Esto proporciona una inicialización estable, gradientes más suaves y una convergencia de validación más rápida, reduciendo la carga de aprender la generación de acciones desde cero.
¿Enriquecer los datos de la Etapa 1 mejora el rendimiento downstream? Sí, los experimentos confirman que agregar más datos de acción en la etapa de aprendizaje previo de acciones produce un prior más fuerte, que se transfiere directamente a tasas de éxito más altas en el modelo VLA completo.
¿Cuál es el papel del condicionamiento del historial en el marco? La variante con historial del módulo de prior de acción alcanza el error de validación más bajo después del entrenamiento inicial y demuestra un rendimiento downstream más fuerte, mostrando que modelar el contexto temporal en las secuencias de acción proporciona beneficios adicionales.