Presentamos el Modelo de Acción Geométrica, que unifica la predicción de geometría y acción con modelado temporal del mundo dentro de un único GFM compartido. Al insertar un transformer causal entre las capas superficiales y profundas del GFM, GAM decodifica autorregresivamente acciones y geometrías futuras, resolviendo las ambigüedades espaciales de los sustratos tradicionales de modelos fundacionales. En amplias simulaciones y benchmarks del mundo real, GAM logra una precisión superior, inferencia más rápida y una robustez sólida frente a perturbaciones del entorno.
Resultados Principales
Resultados del mundo real. Para examinar si las ganancias observadas en simulación se transfieren a la ejecución física, evaluamos además GAM en un entorno real. GAM supera significativamente a todas las líneas base. En particular, nuestro modelo se mantiene robusto en condiciones fuera del dominio (entorno de perturbación de cámara) donde otras líneas base fallan. Estos resultados demuestran que GAM se generaliza al dominio real y es robusto bajo perturbaciones, gracias a su aprovechamiento completo del GFM al entrenar la política.
Velocidad de Inferencia y Tamaño del Modelo
GAM logra la latencia más baja entre todas las líneas base, requiriendo solo 6.9 ms (aproximadamente 145 Hz) para una pasada directa y funcionando hasta 55 veces más rápido que la Política Cosmos basada en difusión. Todos los métodos se evalúan bajo la misma configuración. Al utilizar predicción de una sola pasada, GAM evita la eliminación de ruido en múltiples pasos de las políticas de difusión, logrando baja latencia mientras iguala la precisión y robustez anteriores con solo 1.4 mil millones de parámetros.
Robustez ante Variaciones de Vista y Escena
GAM logra tasas de éxito consistentemente más altas que todas las líneas base en cada nivel de perturbación de cámara en el benchmark LIBERO-Plus, y la ventaja se mantiene clara incluso bajo las perturbaciones más fuertes.
Detalles de Experimentos de Simulación
Adoptamos el protocolo de evaluación LIBERO establecido por OpenVLA y OpenVLA-OFT. Específicamente, evaluamos en las cuatro suites de tareas estándar de LIBERO: LIBERO-Spatial, LIBERO-Object, LIBERO-Goal y LIBERO-Long, cada una compuesta por 10 tareas. Siguiendo a OpenVLA-OFT, entrenamos con demostraciones filtradas de LIBERO eliminando episodios fallidos y filtrando fotogramas inactivos/sin operación. Ajustamos una política separada para cada suite de LIBERO.
Reportamos la tasa de éxito de ejecución de tareas (SR, %) como nuestra métrica de evaluación principal. Para el benchmark original de LIBERO, cada tarea se evalúa en 50 ensayos aleatorizados, lo que da como resultado 500 ejecuciones por suite. Para LIBERO-Plus, seguimos la configuración de evaluación oficial y usamos una ejecución por instancia de tarea perturbada. Todos los modelos se entrenan con un tamaño de lote global de 160 hasta 110k pasos de entrenamiento, hasta alcanzar la convergencia.
Desglose del Tamaño del Modelo
Del modelo completo, aproximadamente 983.2 millones de parámetros son entrenables. La mayoría de estos parámetros entrenables provienen de los bloques posteriores de la columna vertebral ViT-Giant, mientras que las capas geométricas iniciales y la cabeza de profundidad DPT permanecen congeladas para preservar la estructura geométrica preentrenada. El Predictor Causal Futuro y la cabeza de acción ligera son completamente entrenables y representan el resto de parámetros entrenables.
Mapas de Profundidad Futuros Generados
Dada una observación RGB actual, GAM predice los mapas de profundidad futuros mientras genera simultáneamente acciones que se alinean espacialmente con la geometría futura anticipada. Como se demuestra en las visualizaciones, GAM pronostica con precisión la profundidad futura junto con su secuencia de acciones correspondiente.
¿Cuándo Predecir Acciones?
Además, evaluamos una variante de supervisión de acción directa que aplica la pérdida de acción directamente al token de acción de salida del predictor causal futuro, sin pasar el token de acción por los bloques restantes del decodificador geométrico profundo. Pasar el token de acción por el decodificador geométrico profundo proporciona una mejora adicional, particularmente en LIBERO-Plus Object, lo que sugiere que las capas restantes del GFM contribuyen a refinar la representación de la acción, especialmente bajo perturbaciones de cámara.
Análisis de Atención
Varias capas intermedias atienden a regiones relevantes para la tarea, con una saliencia clara alrededor de los objetos manipulados y las regiones de contacto cercanas. Esta tendencia cualitativa es consistente con la ablación de capas: las representaciones de nivel medio retienen la estructura a nivel de objeto mientras aún dejan suficiente profundidad en el decodificador del GFM para el refinamiento del token de acción.
Conclusión y Limitación
Presentamos el Modelo de Acción Geométrica, que unifica la predicción de geometría y acción con modelado temporal del mundo dentro de un único GFM compartido. Al insertar un transformer causal entre las capas superficiales y profundas del GFM, GAM decodifica autorregresivamente acciones y geometrías futuras, resolviendo las ambigüedades espaciales de los sustratos tradicionales de modelos fundacionales. El marco también tiene limitaciones. Sus capacidades de razonamiento lingüístico y sentido común están limitadas por el codificador de texto congelado; integrar un modelo de lenguaje grande o un módulo de razonamiento externo es un siguiente paso natural.
Preguntas Frecuentes
¿Cómo logra GAM una inferencia más rápida que las políticas basadas en difusión? GAM utiliza predicción de una sola pasada para generar acciones directamente, evitando el proceso de eliminación de ruido en múltiples pasos requerido por las políticas de difusión. Esto permite una inferencia 55 veces más rápida mientras mantiene una precisión comparable.
¿Qué hace que GAM sea robusto ante perturbaciones de cámara y variaciones de escena? GAM aprovecha las representaciones espaciales estructuradas del modelo geométrico fundacional y refina los tokens de acción a través del decodificador geométrico profundo bajo perturbaciones de cámara. Esto le permite superar consistentemente a las líneas base incluso bajo las perturbaciones más fuertes.
¿Qué porcentaje de los parámetros de GAM son entrenables para el aprendizaje de políticas? Aproximadamente 983.2 millones de parámetros de los 1.4 mil millones totales son entrenables. Las capas geométricas iniciales y la cabeza de profundidad permanecen congeladas para preservar la estructura geométrica preentrenada.
¿Cuál es la principal limitación del Modelo de Acción Geométrica? Las capacidades de razonamiento lingüístico y sentido común de GAM están limitadas por su codificador de texto congelado. Integrar un modelo de lenguaje grande o un módulo de razonamiento externo abordaría esta limitación.