Presentamos ContactGuard, un monitor de agarre previo al contacto que predice si es probable que un agarre inminente falle antes de que se cierre la pinza. Combina un modelo latente del mundo, al estilo JEPA, con una sonda lineal de fallos congelada. El modelo del mundo se entrena con trayectorias robóticas sin etiquetar para predecir representaciones latentes futuras condicionadas por la acción; la sonda se entrena con un conjunto más pequeño de agarres etiquetados para puntuar la representación latente posterior al contacto que se ha predicho. Durante el despliegue, el modelo y la sonda congelados funcionan junto a una política visuomotora y abortan la ejecución cuando se predice que el bloque de acciones planificado fallará.
Primero definimos los datos del modelo del mundo y de la sonda; después describimos el predictor latente al estilo LeWM, su arquitectura multivista, la sonda de fallos y el monitor en línea previo al contacto.
Planteamiento del problema y datos
ContactGuard separa el aprendizaje de dinámicas latentes sin etiquetar de la supervisión de resultados con pocos datos. El conjunto de datos del modelo del mundo contiene trayectorias robóticas en las que las observaciones sincronizadas de cámaras fijas se emparejan con acciones en el espacio articular. No se utilizan etiquetas de éxito del agarre para entrenar el modelo del mundo.
Antecedentes: predicción latente al estilo LeWM
El predictor es un Transformer causal condicionado por acciones mediante modulación AdaLN-zero. Se entrena con regresión de la siguiente representación y el regularizador anticolapso SIGReg, que favorece que la distribución latente coincida con una gaussiana estándar en proyecciones aleatorias.
Reutilizamos esta interfaz entre codificador y predictor, pero la adaptamos a observaciones multivista, ventanas de predicción alineadas con la acción y lectura posterior de fallos antes del contacto.
Resultados experimentales
Aplicamos ContactGuard al cierre de la pinza, un evento canónico de contacto inminente y horizonte corto, con geometría visual compleja, oclusiones, variación de objetos y un presupuesto estricto de tiempo real antes del contacto. Evaluamos cuatro configuraciones de agarre con ACT como política visuomotora subyacente basada en bloques de acciones. Todas las métricas evalúan la decisión del predictor en el estado previo al contacto que activa el sistema, no el propio disparo ni la recuperación posterior al aborto.
Nuestros experimentos plantean cuatro preguntas:
Calidad de la predicción
¿Pueden las representaciones latentes futuras predichas anticipar mejor los resultados de la ejecución que los modelos del mundo de una sola vista, la monitorización del estado actual y los detectores de fallos en tiempo de ejecución ya consolidados?
Fuente de información
¿Surge la señal de la consecuencia imaginada de la acción concreta propuesta, en lugar de la observación actual, atajos visuales o indicios de movimiento genéricos?
Fusión del estado del robot
¿Mejora la predicción latente relevante para el agarre al añadir el estado propioceptivo?
Tiempo de ejecución
¿Es el pronóstico lo bastante rápido para la ventana previa al contacto antes del cierre de la pinza?
Predicción del resultado del agarre en lazo cerrado
Las métricas en lazo cerrado se recopilan a partir de ejecuciones reales; el modelo del mundo, la sonda y el umbral de cada tarea se congelan previamente. Todas las tablas de diagnóstico posteriores utilizan particiones de reproducción offline reservadas para evaluación.
Multivista frente a una sola vista
La fusión multivista mejora tanto la exactitud equilibrada como el AUC frente a la línea base LeWM de una sola vista en las cuatro tareas. La mejora es mayor en Towel, donde la zona de contacto entre la pinza y la tela suele quedar ocluida desde cualquier punto de vista individual, y menor en Box, donde la línea base de una sola vista ya es sólida.
Pencil presenta el AUC absoluto más bajo de nuestro modelo, en consonancia con que sus trayectorias de entrenamiento cubren únicamente una franja estrecha de posturas de agarre, por lo que las vistas adicionales ofrecen poco margen de mejora.
Conclusiones, limitaciones y trabajo futuro
Hemos presentado ContactGuard, un verificador predictivo en tiempo real y desacoplado de la política para la manipulación previa al contacto. Un modelo latente del mundo, condicionado por la acción y entrenado de forma independiente, evalúa el bloque de acciones concreto propuesto por una política visuomotora que permanece sin cambios y puntúa su consecuencia posterior al contacto mediante una sonda de fallos ligera.
En cuatro configuraciones de agarre del mundo real, ContactGuard supera a la monitorización equivalente del estado actual y a los detectores externos de fallos en tiempo de ejecución evaluados. Al mantener fija la observación y sustituir únicamente la acción propuesta, también cambia de forma sustancial la probabilidad de fallo predicha, lo que confirma que el monitor responde a la acción pendiente y no solo al riesgo visual estático.
Estos resultados respaldan la imaginación latente condicionada por la acción como una base práctica para vetar fallos probables antes del contacto que modifica la escena.
Limitaciones
ContactGuard evita los fallos absteniéndose de actuar, pero no se recupera de ellos ni completa la tarea después de un aborto. Completar la tarea tras un aborto requiere un módulo externo de recuperación, que dejamos para trabajos futuros.
ContactGuard está orientado a eventos de contacto inminente cuyo resultado se determina dentro del siguiente bloque de acciones; extenderlo a habilidades de horizonte más largo requeriría una monitorización jerárquica o repetida a nivel de evento.
Trabajo futuro
El trabajo futuro puede cerrar el ciclo después de un aborto seleccionando un nuevo bloque de acciones, replanteando la trayectoria a partir de la escena conservada o acoplando el monitor a políticas de múltiples muestras, como las políticas de difusión, Flow Matching o Streaming.
Preguntas frecuentes
¿Qué predice ContactGuard? Predice si es probable que un agarre inminente falle antes de que se cierre la pinza.
¿Cómo se entrena el modelo latente del mundo? Se entrena con trayectorias robóticas sin etiquetar para predecir representaciones latentes futuras condicionadas por la acción, sin utilizar etiquetas de éxito del agarre.
¿Qué ocurre cuando se predice que un agarre planificado fallará? El monitor aborta la ejecución del bloque de acciones planificado.
¿Puede ContactGuard recuperarse después de un aborto? No. Completar la tarea después de un aborto requiere un módulo externo de recuperación.