Ampliar el uso de robots a una mayor variedad de tareas del mundo real exige que sus políticas sigan mejorando después del despliegue, sin depender de la guía humana continua. Los objetos nuevos, los cambios en el entorno y los pequeños errores de ejecución pueden dejar al descubierto las debilidades de una política de tarea. Intentarlo más veces no aporta por sí solo la experiencia necesaria para mejorar: el robot puede repetir el mismo error sin descubrir cómo corregirlo. Aunque las personas pueden aportar esas correcciones, pedir una nueva demostración o corrección cada vez que el robot falla hace que el progreso dependa de la supervisión. Por eso, buscamos un proceso de mejora que genere su propia experiencia correctiva y permita aprovechar la enseñanza inicial más allá de una sola tarea. Este proceso reduciría tanto la supervisión necesaria para mejorar una política de tarea como el esfuerzo humano adicional requerido para generalizar a tareas nuevas.
Trabajo relacionado
Situamos el sondeo en el espacio de habilidades en relación con tres áreas principales de investigación: la composición de habilidades, el aprendizaje a partir de correcciones y, por último, la mejora autónoma a partir de la experiencia.
Método
El sondeo en el espacio de habilidades utiliza habilidades aprendidas para probar correcciones en los puntos donde es probable que falle una política de tarea y, después, entrena la política con las reparaciones exitosas. Una habilidad puede aportar un comportamiento local útil incluso cuando la política aún no es capaz de completar toda la tarea. Para convertir esa capacidad en supervisión, el ciclo debe reconocer cuándo se necesita ayuda, probar una corrección desde el estado actual del agente y conservar las acciones que resuelven la dificultad. En el resto de esta sección se describe cómo los modelos detectan los fallos para iniciar estas pruebas, cómo las reparaciones se convierten en supervisión a lo largo de sucesivas iteraciones y cómo una biblioteca compartida de habilidades permite mejorar en tareas nuevas.
Decidir cuándo y cómo sondear
Por simplicidad, cada etapa de la tarea tiene un comportamiento primitivo asignado. En la práctica, identificar la etapa que necesita recuperación o corrección también determina exactamente qué habilidad sondear. Para facilitar la escalabilidad, las descripciones de la tarea y de las habilidades se introducen en una instrucción fija, lo que permite aplicar el mismo procedimiento de selección a distintas tareas.
Reparar las ejecuciones y mejorar las políticas
Probar una habilidad
Para probar un comportamiento correctivo, la habilidad seleccionada toma el control allí donde se detuvo la política de tarea. Los errores anteriores pueden haber cambiado la posición de los objetos o sus puntos de contacto, por lo que la habilidad debe responder al estado que la política de tarea alcanzó realmente. Esto también hace que las acciones resultantes sean una supervisión útil: es posible que una demostración nueva desde un estado inicial limpio nunca llegue a encontrar el mismo estado de fallo difícil. Una vez reparada la etapa, el control vuelve a la política de tarea para que pueda intentar completar las etapas restantes. Devolverle el control permite que aproveche los comportamientos que ya ejecuta bien y encuentre otras dificultades que quizá requieran corrección durante la misma ejecución.
Aprender de las reparaciones
La ejecución reparada contiene acciones para los estados de fallo de la política de tarea, pero también los errores que condujeron a ellos. Entrenar con la secuencia completa enseñaría a la política a imitar ambas cosas. Por eso, conservamos únicamente los segmentos de reparación aceptados y ejecutados por una habilidad, procedentes de ejecuciones que el evaluador confirma como completas. Cada segmento contiene observaciones y acciones ejecutadas desde la activación de la habilidad hasta la devolución del control, etiquetadas de nuevo con la instrucción de la tarea. Excluimos las acciones de la política y los intentos rechazados.
A continuación, la política actualizada recopila la siguiente ronda de experiencia. Esta iteración ayuda a la política de tarea a aprender correcciones y permite descubrir una gama más amplia de fallos. Por ejemplo, una política que ahora consigue completar una primera acción de agarre puede llegar a una etapa de colocación que antes nunca alcanzaba. Recopilar datos de forma iterativa con la política actualizada lleva estos estados recién encontrados, junto con los fallos que persisten, a la misma biblioteca de habilidades. Así, las habilidades proporcionan nueva supervisión a medida que progresa el agente, sin necesidad de otra ronda de demostraciones.
Este proceso es autónomo: los modelos deciden cuándo intervenir, qué correcciones probar y si aceptarlas. También es escalable y reduce al mínimo la intervención humana: las habilidades y la instrucción del evaluador permanecen fijas, al igual que el modelo de valor tras su calibración inicial, de modo que la intervención humana se limita a las demostraciones iniciales y al reinicio de las escenas.
Reutilizar la biblioteca de habilidades
¿Por qué usar habilidades?
Para que el ciclo de mejora funcione, las correcciones deben ser opciones significativas e identificables para el evaluador, además de comportamientos que el robot pueda ejecutar. Una habilidad de horizonte corto satisface ambas condiciones: su identidad —descrita visual y textualmente— define una corrección local clara, mientras que su política proporciona las acciones coordinadas necesarias para intentarla. Por ejemplo, seleccionar un agarre activa una aproximación, el cierre de la pinza y la elevación, mientras la habilidad responde a las observaciones durante todo el proceso. Así, el modelo fundacional puede razonar sobre el comportamiento necesario para reparar una etapa, mientras la habilidad se encarga de ejecutarlo físicamente.
Enseñar cada habilidad por separado también permite que aprenda este comportamiento más breve sin tener que dominar toda la tarea, lo que constituye un problema de aprendizaje mucho más sencillo.
Compartir habilidades entre tareas
Como estos comportamientos se repiten en distintas tareas, sus datos de entrenamiento pueden ayudar a preparar correcciones para una tarea nueva. Por ejemplo, agarrar un objeto nuevo puede exigir adaptarse a su forma sin perder el comportamiento de aproximación y elevación aprendido con objetos anteriores. Para ello, combinamos los datos existentes de habilidades con nuevas demostraciones para entrenar el comportamiento primitivo adaptado, y mostramos que esto reduce la necesidad de enseñar todo el movimiento primitivo desde cero. La nueva tarea cuenta con su política inicial y su modelo de valor, pero utiliza el mismo procedimiento para activar las habilidades, comprobar las reparaciones y aprender de ellas.
Experimentos
Nuestros experimentos abordan tres preguntas sobre el sondeo en el espacio de habilidades como fuente de supervisión correctiva reutilizable:
- ¿Las correcciones basadas en habilidades mejoran la política de tarea a lo largo de sucesivas iteraciones?
- ¿Puede el sistema activar habilidades de forma autónoma y verificar sus reparaciones con fiabilidad?
- ¿Puede una biblioteca compartida de habilidades transferirse entre tareas distintas y reducir el esfuerzo humano necesario para preparar nuevas habilidades?
Nuestras cuatro tareas principales requieren diversos comportamientos correctivos. Stack-3 apila tres cubos, uno encima del otro y en secuencia; Drawer consiste en abrir un cajón, colocar dentro un rollo de cinta adhesiva y cerrarlo. Coffee consiste en verter leche, café y hielo, y añadir una varilla para remover en una taza. Por último, Sweeping consiste en recoger una escoba pequeña de mano, barrer seis bloques hasta una zona objetivo y volver a colgar la escoba. En conjunto, estas tareas ponen a prueba las correcciones dentro de secuencias ordenadas y durante el contacto dinámico.
Compartir y ampliar habilidades para tareas nuevas
Con solo 10 demostraciones nuevas, compartir habilidades eleva el éxito en el agarre del 5% al 70%. Con 30 demostraciones, compartir habilidades iguala el éxito que se obtiene con casi el doble de demostraciones sin compartirlas. Por tanto, el aprendizaje previo de habilidades no solo mejora el rendimiento con un presupuesto de datos fijo: también reduce el número de demostraciones nuevas necesarias para preparar la misma habilidad para un objeto o movimiento primitivo desconocido.
Limitaciones y futuras líneas de investigación
Adquirir y ampliar habilidades
La mejora reiterada con una biblioteca fija demuestra que las habilidades pueden seguir siendo útiles después de que la política aprenda de correcciones anteriores, pero definirlas y enseñarlas sigue requiriendo un esfuerzo humano inicial. Los modelos fundacionales ayudarán cada vez más a descomponer tareas e identificar comportamientos reutilizables. Los fallos persistentes podrían orientar qué habilidades adquirir a continuación, evaluando cada incorporación según el número de tareas a las que beneficia. Aprender habilidades a partir de vídeos de personas podría reducir aún más el esfuerzo de demostración a medida que crece la biblioteca.
Operación autónoma sostenida
Aunque el ciclo de mejora es autónomo, las personas siguen reiniciando las escenas entre ejecuciones. Los comportamientos de reinicio aprendidos o los ciclos de tareas, en los que completar una tarea prepara la siguiente, podrían permitir operar sin supervisión durante días o semanas en tareas abiertas. Combinarlos con el sondeo en el espacio de habilidades permitiría recopilar datos de forma sostenida y comprobar si la supervisión correctiva sigue siendo útil cuando cambian las tareas y el entorno.
Generalizar la detección de fallos
El detector de fallos requiere entrenamiento para cada tarea, aunque la selección de habilidades y la verificación de reparaciones siguen un procedimiento común. Los modelos fundacionales ya detectan fallos de ejecución, siguen el progreso de las tareas y localizan eventos en vídeos de robots. A medida que mejore su razonamiento temporal, extender estas capacidades para anticipar fallos a partir de movimientos propuestos podría eliminar la necesidad de un detector independiente. Un modelo compartido decidiría entonces tanto cuándo sondear como qué habilidad probar, reduciendo la preparación necesaria para nuevas tareas.
Conclusión
Presentamos el sondeo en el espacio de habilidades para convertir los comportamientos robóticos reutilizables de horizonte corto en una fuente renovable de supervisión correctiva. La orientación de modelos fundacionales identifica comportamientos significativos que se pueden probar ante los fallos de una política de tarea y supervisa su ejecución física para comprobar si ofrecen una corrección. El entrenamiento con segmentos de reparación aceptados, procedentes de ejecuciones completas, incorpora después esas correcciones a la política de tarea.
Nuestros experimentos muestran mejoras reiteradas que se mantienen sin la ayuda de las habilidades, incluso cuando se parte de una política sin ningún éxito inicial observado. También mostramos que compartir los datos de habilidades reduce la enseñanza adicional necesaria para preparar el ciclo de mejora de otra tarea, conectando la mejora dentro de una tarea con la reutilización entre tareas. Así, el sondeo en el espacio de habilidades sienta las bases para la mejora autónoma a gran escala: las habilidades reutilizables permiten a los robots aprender de sus propios fallos y extender ese aprendizaje a distintas tareas, sin exigir que las personas enseñen todas las correcciones posibles.
Preguntas frecuentes
¿Qué es el sondeo en el espacio de habilidades? Utiliza habilidades reutilizables de horizonte corto para reparar fallos de la política de tarea y, después, entrena la política con las reparaciones aceptadas.
¿Cómo decide el sistema qué habilidad utilizar? Cada etapa de la tarea tiene un comportamiento primitivo asignado, por lo que identificar la etapa que necesita corrección determina qué habilidad sondear.
¿Qué partes de una ejecución reparada se utilizan para el entrenamiento? Solo se conservan los segmentos de reparación aceptados y ejecutados por una habilidad, procedentes de ejecuciones confirmadas como completas; se excluyen las acciones de la política y los intentos rechazados.
¿Cómo reduce el hecho de compartir habilidades el esfuerzo de enseñanza para tareas nuevas? Los datos existentes de habilidades se combinan con nuevas demostraciones para entrenar un comportamiento primitivo adaptado, lo que reduce el número de demostraciones nuevas necesarias.