Los modelos Visión-Lenguaje-Acción (VLA) tienen dificultades con objetos dinámicos que se mueven durante la inferencia. AHEAD introduce un modelo predictivo de mundo en espacio latente que combina dinámicas de _flow matching_ con condicionamiento cinemático y una parada adaptativa del horizonte, permitiendo la interceptación en tiempo real de objetos en movimiento en la manipulación basada en VLA.
Introducción
La manipulación robótica en entornos dinámicos requiere razonar sobre el movimiento de los objetos durante la ejecución de la política. Si bien los modelos VLA han demostrado capacidades impresionantes en escenas estáticas, carecen de razonamiento temporal para objetos que se mueven durante la inferencia. AHEAD aborda esto prediciendo estados futuros de la escena en el espacio latente de un VLA, condicionado a estimaciones cinemáticas por _token_, y deteniendo el _rollout_ de forma adaptativa según la incertidumbre de la predicción.
Modelo de Mundo con _Flow Matching_ y Condicionamiento Cinemático
Para evitar que el modelo de mundo aprenda la física completa a partir de datos, AHEAD propaga analíticamente el condicionamiento de velocidad a lo largo de los pasos del _rollout_ bajo una cinemática de aceleración constante.
Parada Adaptativa del Horizonte
Para asignar cómputo temporalmente, AHEAD detiene cada _rollout_ cuando la incertidumbre de la predicción supera un umbral. Las muestras de trayectoria obtenidas en cada paso proporcionan una estimación de incertidumbre a nivel de escena por paso, basada en la varianza media por _token_.
Experimentos
Evaluamos AHEAD en simulación en varios escenarios de manipulación con objetos dinámicos y en un robot físico UFactory xArm 7 en cinco tareas dinámicas. Los estudios de ablación aíslan la contribución de cada componente.
Limitaciones y Trabajo Futuro
Si el artículo es aceptado, la versión final incluirá agradecimientos. Todos los agradecimientos van al final del documento, incluyendo agradecimientos a revisores que dieron comentarios útiles, a colegas que contribuyeron a las ideas, y a agencias de financiamiento y patrocinadores corporativos que brindaron apoyo financiero.
Detalles de Arquitectura
Un transformador de 4 capas con estado oculto de 256 dimensiones comprime los _tokens_ seleccionados enriquecidos con movimiento en un latente compacto. Cada _token_ seleccionado recibe un embedding posicional 2D aprendible indexado por su posición de _patch_, por lo que las posiciones espaciales son consistentes con la representación del VLA congelado, donde se indexan los _tokens_ enriquecidos con movimiento y se especifica la dimensión latente.
Arquitecturas Alternativas Consideradas
El modelo de mundo debe producir predicciones de alta calidad y completarse dentro del presupuesto de latencia por paso. Consideramos tres arquitecturas candidatas.
Los modelos de mundo basados en difusión producen muestras de alta calidad pero requieren 100 o más pasos de denoising, lo que sitúa cada _rollout_ fuera del presupuesto.
El _flow matching_ condicional aprende un flujo normalizante continuo desde ruido hasta la distribución de estado futuro predicho, requiriendo 5 pasos de integración para muestras de alta calidad. Múltiples muestras proporcionan tanto una predicción media como una estimación natural de incertidumbre a partir de la varianza de la muestra de trayectoria, sin costo adicional.
AHEAD adopta _flow matching_ condicional como modelo de dinámica basándose en esto.
Detalles de Saliencia de Lenguaje y Movimiento
Una dilatación morfológica de 1 _token_ expande el mapa de saliencia para capturar los bordes de los objetos. Las ablaciones caracterizan el equilibrio entre precisión y cómputo de las señales de saliencia de lenguaje y movimiento frente al enmascaramiento uniforme.
Detalles de Estimación de Movimiento
Para condicionar el estado cinemático por _token_ en lugar de pedir al modelo de mundo que infiera el movimiento a partir de características visuales, AHEAD estima tanto la velocidad como la aceleración a partir de tres observaciones consecutivas usando RAFT y diferencias finitas.
El _average pooling_ es suficiente porque los objetos relevantes para la tarea abarcan múltiples _patches_. Los _patches_ interiores reciben señales de velocidad limpias, y los 2 a 4 _patches_ fronterizos con señales mixtas contribuyen de manera insignificante al error de predicción.
Derivación de la Actualización Cinemática
Para capturar la incertidumbre en la estimación del movimiento, AHEAD inyecta ruido Gaussiano pequeño en el condicionamiento de velocidad de forma independiente por muestra, haciendo que las trayectorias diverjan cuando las predicciones son sensibles a valores exactos de velocidad y converjan cuando son robustas.
Capa de Alineación de Características
La reconstrucción por MSE trata todas las dimensiones de características por igual, pero el decodificador de acciones del VLA es sensible a algunas dimensiones, como las relaciones espaciales críticas para el agarre, e insensible a otras, como la textura del fondo. Para corregir esta distorsión sistemática, AHEAD añade una capa de alineación de características por _token_ que mapea las características decodificadas al manifold preferido del decodificador de acciones.
Entrenamos la capa de alineación por separado del modelo de dinámica, en pares de características reales y decodificadas, optimizando directamente el error de acción.
Protocolo de Entrenamiento
Recolectar trayectorias de robots es costoso, lo que limita la escala de los datos de entrenamiento para modelos de mundo específicos de robots. El modelo de mundo opera en el espacio de características del VLA, que el codificador congelado ya ha entrenado en datos diversos a escala de internet. Cualquier video que contenga movimiento de objetos en contextos relevantes para la manipulación proporciona, por lo tanto, una señal de entrenamiento útil, independientemente de si aparece un robot en la escena. Esto motiva un corpus de preentrenamiento curado centrado en interacciones en superficies de mesa y dinámicas mano-objeto, en lugar de conjuntos de datos de video egocéntricos amplios dominados por actividades al aire libre y movimientos corporales completos que están lejos de la distribución de despliegue.
Entornos de Simulación
Cuatro escenarios prueban movimiento independiente lineal.
Cinta transportadora + taza. Una cinta transportadora desplaza una taza roja a través del espacio de trabajo a una velocidad aleatoria. El robot debe recoger la taza antes de que salga del espacio de trabajo. La velocidad de la cinta, la posición inicial de la taza a lo largo de la cinta y la altura de la cinta se aleatorizan por episodio.
Viga + taza. Una taza roja se desliza a lo largo de una viga horizontal a una velocidad aleatoria. El robot debe agarrar la taza desde arriba. La orientación de la viga y la posición inicial se aleatorizan.
Empuje con poste + taza. Un poste empuja una taza lateralmente a través del espacio de trabajo a una velocidad aleatoria. El robot debe interceptar la taza. La dirección del empuje y el desplazamiento inicial se aleatorizan.
Pelota rodante. Una pelota rueda sobre la mesa a una velocidad horizontal constante. El robot debe detener la pelota.
Configuración del Robot Físico
Un UFactory xArm 7 (7 GDL) con un gripper de mordaza paralela. El robot opera dentro de una caja de seguridad de aproximadamente 0.5 m centrada frente a la base, con guardas de límite de articulación que detienen el movimiento si alguna articulación se acerca a los límites del fabricante o al límite del espacio de trabajo.
Detalles de Implementación de la Línea Base
OpenVLA se consulta una vez en la observación inicial, y la secuencia de acciones predicha se ejecuta en lazo abierto hasta su finalización. No se consumen más observaciones.
Criterios de Éxito
Cada escenario tiene criterios de éxito/fracaso específicos, evaluados automáticamente en simulación y manualmente en el robot físico.
El éxito requiere que el gripper se cierre sobre el objeto objetivo con todos los dedos en contacto, levante el objeto al menos 5 cm y lo sostenga durante 2 segundos sin soltarlo. Agarrar el objeto equivocado en escenarios con múltiples objetos o con lenguaje y movimiento se considera un fracaso incluso si el agarre en sí es exitoso.
Preguntas Frecuentes
¿Qué problema resuelve AHEAD? AHEAD permite que los modelos VLA intercepten objetos en movimiento prediciendo estados futuros de la escena en el espacio latente, superando la limitación de escenas estáticas de las arquitecturas VLA actuales.
¿Cómo logra el modelo de mundo un rendimiento en tiempo real? Utiliza _flow matching_ condicional con solo 5 pasos de integración y detiene el _rollout_ de forma adaptativa según la incertidumbre de la predicción, manteniendo la latencia por paso dentro del presupuesto.
¿Qué datos se utilizan para entrenar el modelo de mundo? El modelo se entrena con videos curados de internet de interacciones en superficies de mesa y dinámicas mano-objeto, aprovechando las características visuales preentrenadas del codificador VLA sin necesidad de datos específicos de robots.
¿Cómo funciona el condicionamiento cinemático? AHEAD estima la velocidad y aceleración por _token_ a partir de tres observaciones consecutivas usando RAFT y diferencias finitas, luego las propaga analíticamente a lo largo de los pasos del _rollout_ bajo una cinemática de aceleración constante.