Una intervención aporta solo evidencia parcial sobre este principio. Antes de la toma de control, el robot ejecuta las acciones de la VLA; después, la persona proporciona una continuación preferida. El momento de la toma de control permite localizar el contexto que motivó la intervención y generalizar a otras situaciones similares, mientras que el segmento posterior, controlado por la persona, proporciona una continuación preferida desde el estado alcanzado hacia una situación más óptima. Una descripción como «mantén la taza en posición vertical al colocarla en el plato» identifica la propiedad semántica que motivó la toma de control, que puede seguir siendo válida aunque cambien las poses de los objetos, la configuración del robot, el fondo o incluso la tarea. Las trayectorias por sí solas no permiten saber qué propiedad era relevante; el lenguaje por sí solo carece del anclaje sensoriomotor necesario para el control visuomotor. En conjunto, ambos elementos delimitan una corrección reutilizable.
Evaluamos OopsieRecover en tres tareas, en simulación y en el mundo real, usando pi0 en RoboCasa y DROID, con solo 5–8 correcciones por tarea. OopsieRecover aumenta el progreso de las tareas en el mundo real del 35.1% al 61.0%, una mejora relativa del 74% respecto a la siguiente mejor línea de base, y transfiere las correcciones a poses, objetos y escenas no vistos. Sus costos con compuerta se generalizan sin ejemplos adicionales a nuevas variaciones en las poses de los objetos y las escenas, y guían eficazmente la política base. Nuestras contribuciones son: una formulación semántica y abductiva de la corrección de VLA con pocos ejemplos a partir de intervenciones con participación humana; un procedimiento de generación y prueba que sintetiza y verifica costos con compuerta; y un mecanismo de guiado durante la inferencia que aplica y generaliza correcciones sin volver a entrenar la VLA.
Recopilación de correcciones semánticas
OopsieRecover sintetiza un objetivo correctivo unificador a partir de cada grupo de intervenciones correctivas agrupadas por tipo. Para ello, primero define una representación capaz de capturar una intención transferible.
Síntesis y refinamiento de programas correctivos
El primer paso consiste en identificar las entidades implicadas en la corrección y anclarlas geométricamente en las observaciones registradas. En PlaceMug, estas pueden incluir la taza, la zona de la máquina que obstruye el paso y la bandeja objetivo. La instrucción de la tarea y la descripción de la corrección se usan para localizar estas entidades y, a continuación, construir y seguir sus representaciones como conjuntos de puntos 3D.
Conclusión
OopsieRecover es un marco que aprende correcciones transferibles para VLA congeladas a partir de un puñado de intervenciones humanas anotadas semánticamente. Utiliza abducción para sintetizar costos condicionados por el contexto sobre conjuntos de puntos 3D anclados semánticamente. Estos costos determinan cuándo se necesita el guiado y clasifican las acciones candidatas según sus consecuencias previstas. Los experimentos en simulación y en el mundo real muestran una mejor ejecución y transferencia ante variaciones en las poses de los objetos y las escenas, sin datos correctivos adicionales. En comparación con HG-DAgger, OopsieRecover alcanza una mayor tasa de éxito con menos intervenciones, lo que respalda la intención correctiva reutilizable como alternativa eficiente en datos a la imitación directa de acciones correctivas.
Agradecimientos
Este trabajo se llevó a cabo en el Robot Interactive Intelligence (RobIn) Lab de The University of Texas at Austin y contó con el apoyo parcial de TRI (R-YFR-04-Martin-Martin), la National Science Foundation (CAREER FAIN 2543745), el NVIDIA Academic Grant Program, Amazon y el programa DARPA TIAMAT (HR0011-24-9-0428). Las opiniones y conclusiones aquí expuestas corresponden a los autores y no deben interpretarse como representación necesaria de las políticas o el respaldo oficiales del Gobierno de EE. UU. ni de ningún patrocinador, ya sean expresos o implícitos.
Preguntas frecuentes
¿Qué aprende OopsieRecover de una intervención humana? Aprende un objetivo correctivo reutilizable a partir del contexto de la intervención, la propiedad semántica que motivó la toma de control y la continuación controlada por la persona.
¿Cómo representa OopsieRecover las entidades implicadas en una corrección? Ancla las entidades en las observaciones registradas mediante geometría, construyendo y siguiendo sus representaciones como conjuntos de puntos 3D.
¿Es necesario volver a entrenar la VLA para usar OopsieRecover? No. Su mecanismo de guiado durante la inferencia aplica correcciones sin volver a entrenar la VLA.
¿Cuántas correcciones se usaron por tarea en la evaluación? La evaluación usó solo 5–8 correcciones por tarea en tres tareas, tanto en simulación como en el mundo real.