La visión de la robótica generalista es desarrollar robots capaces de realizar de forma fiable una amplia variedad de tareas en entornos complejos del mundo real, donde los objetos, la distribución de los espacios y las instrucciones cambian constantemente, y que además mejoren con la experiencia. Esto desplaza el objetivo de los agentes robóticos: de completar tareas episodio a episodio a acumular capacidades de forma sostenida. Los intentos fallidos de agarre, las ubicaciones desactualizadas de los objetos y las situaciones que requieren recuperación solo son valiosos si el robot puede identificar la capacidad implicada, perfeccionarla a partir de evidencias de ejecución y poner el comportamiento resultante a disposición de tareas posteriores.
Sin embargo, la experiencia de ejecución solo se convierte en una capacidad reutilizable cuando se organiza en torno a la estructura de la tarea que le da sentido. Una corrección debe seguir vinculada al objetivo que la motivó, corresponder a la capacidad responsable del comportamiento observado y validarse antes de reutilizarse. Sin esa estructura, los intentos repetidos llenan el contexto de trayectorias completas, las correcciones locales se alejan del objetivo general y las personas vuelven a tener que restablecer los entornos, revisar los registros y decidir dónde encaja cada corrección.
Nuestra observación es que esta estructura debe servir tanto a las personas que dirigen al robot como a los agentes que implementan su comportamiento, lo que requiere dos abstracciones complementarias. La orientación accesible para las personas permite expresar objetivos, conocimientos del dominio, restricciones y criterios de seguridad al nivel del servicio que necesitan. La estructura adaptada a los agentes proporciona a estos contexto pertinente para la tarea, interfaces explícitas y responsabilidades acotadas para la ejecución y la revisión.
A partir de esta observación, presentamos RoboRSI, un sistema multiagente para la auto-mejora de robots organizado mediante el Refinamiento de habilidades de arriba abajo (TSR). TSR descompone cada tarea en habilidades compuestas, atómicas y básicas, con responsabilidades delimitadas y contratos explícitos de entrada y salida; atribuye cada resultado de ejecución a la rama responsable y limita la revisión a esa rama: una descomposición inadecuada lleva a revisar la estructura de la tarea, una composición poco fiable lleva a revisar la habilidad compuesta correspondiente y una operación fallida lleva a revisar la habilidad atómica o básica responsable. Un Gestor, un Planificador, un Ingeniero y un Revisor se encargan de la planificación, la ejecución, el diagnóstico y la publicación validada. Las secuencias estables de habilidades se consolidan en habilidades compuestas que las ejecuciones posteriores seleccionan y supervisan, en lugar de reconstruir cada decisión sobre las herramientas.
Evaluamos RoboRSI con un manipulador móvil que realiza tareas domésticas de recogida de varios objetos a lo largo de un cambio de escena, mientras sus habilidades se desarrollan durante 104 rondas, y en simulación frente a sistemas de referencia de agentes robóticos en LIBERO, LIBERO-PRO y RoboTwin, con transferencia de capacidades congeladas a LIBERO-Plus. RoboRSI logra la mayor tasa de éxito en los cuatro benchmarks y supera al sistema de referencia más sólido por 5.3 puntos en LIBERO, 11.0 en LIBERO-PRO, 5.7 en LIBERO-Plus y 2.7 en RoboTwin.
Nuestras contribuciones son tres:
- Abstracciones complementarias para la auto-mejora de robots: La experiencia de ejecución solo se vuelve reutilizable cuando está vinculada a la estructura de la tarea que le da sentido. Esta estructura debe permitir tanto la orientación accesible para las personas como la organización adaptada a los agentes.
- Marco RoboRSI: El sistema materializa estas abstracciones mediante el Refinamiento de habilidades de arriba abajo, que verifica la condición posterior de cada tarea atómica antes de darla por completada y revisa cada fallo en el primer nodo donde se produce, y mediante un ciclo multiagente de ejecución y perfeccionamiento que valida y publica habilidades para distintas tareas.
- Evaluación en el mundo real y en simulación: Desarrollo de habilidades en un manipulador móvil durante 104 rondas, la mayor tasa de éxito en cuatro benchmarks de simulación y estudios de ablación sobre la separación de roles, el perfeccionamiento de habilidades y las habilidades compuestas.
Método
Imaginemos un agente de programación conectado directamente a las herramientas del robot al que se le pide mejorar una tarea doméstica de recogida en una vivienda compleja del mundo real a lo largo de muchas ejecuciones. El contexto se llena con registros de ejecuciones anteriores; un fallo observado al final de una secuencia se corrige allí donde aparece —por ejemplo, añadiendo reintentos al paso de soltar el objeto— aunque se haya originado en la percepción o la navegación; y, como el objetivo queda implícito en la instrucción más reciente, las modificaciones sucesivas optimizan la escena más reciente. Las personas vuelven entonces a tener que revisar los registros y decidir dónde encaja cada corrección. RoboRSI elimina esta carga al hacer explícitos tanto el propósito de las personas como el trabajo de los agentes.
Marco general
RoboRSI convierte las ejecuciones repetidas del robot en una biblioteca creciente de habilidades reutilizables, organizada en torno a las dos abstracciones descritas anteriormente. La orientación accesible para las personas es el canal por el que estas introducen objetivos, restricciones, conocimientos del dominio y correcciones al nivel de la tarea; cada corrección se conserva como guía vigente para la habilidad responsable. La estructura adaptada a los agentes es la jerarquía de tareas y habilidades en la que estos trabajan: cada tarea y habilidad tiene una interfaz, una responsabilidad declarada y un registro de las ejecuciones recientes, de modo que cada agente recibe únicamente la parte de la jerarquía pertinente para el paso que le corresponde.
La ronda de desarrollo del marco procede así: los agentes descomponen un objetivo especificado y planifican usando habilidades publicadas, las ejecutan hasta llegar a las habilidades básicas, localizan el primer nodo donde se produce un fallo a partir de las evidencias visibles y del registro de herramientas, y validan y publican las actualizaciones resultantes para la siguiente ronda. Las personas orientan el proceso en la primera etapa y cada vez que se necesita una corrección.
Refinamiento de habilidades de arriba abajo
Estructuras de tareas y habilidades durante el desarrollo de tareas físicas
Dos revisiones TSR en el robot físico
Experimento
Presentamos los resultados del despliegue físico y de las simulaciones, comparamos episodios individuales y resumimos los estudios de ablación.
Estudio de caso con un robot físico
Estudiamos la recogida de objetos del suelo en un hogar con un manipulador móvil WheelSingleArm M1. El robot busca objetos, se acerca a ellos, los agarra y los transporta a receptáculos designados. El estudio de caso abarca 104 ejecuciones de desarrollo físico y 24 horas de funcionamiento acumulado. Antes de cada ejecución, se restablece la escena a una distribución base común, mientras que los objetos y los receptáculos se aleatorizan parcialmente; el mapa de navegación permanece fijo. Los detalles de la plataforma y el procedimiento de restablecimiento se describen en el apéndice.
Estudio de caso
Examinamos tres episodios en los que RoboRSI tiene éxito mientras los sistemas de referencia fallan desde el mismo estado inicial; después, seguimos una habilidad revisada mientras se reutiliza en tareas para las que no se desarrolló.
En LIBERO-Plus, la tarea consiste en colocar un paquete de queso crema en una cesta. La herramienta combinada de agarre y colocación de OpenETA indicó que el objeto se había soltado en el destino, y el agente declaró el éxito de inmediato. La colocación de CaP-X también indicó que se había soltado el objeto, pero la comprobación de que estuviera dentro seguía sin verificarse. Ambos episodios fallaron. RoboRSI, con su biblioteca de origen congelada, recibió un resultado de colocación que indicaba que la pinza no se había abierto. En lugar de dar la tarea por terminada, comprobó si aún sujetaba el paquete, volvió a observar la cesta desde las vistas de la cabeza y desde arriba, colocó de nuevo el paquete y tuvo éxito.
Estudio de ablación
Estudiamos por separado la separación de roles, el perfeccionamiento jerárquico, la consolidación del código y la elección del modelo base; además, examinamos el aprendizaje de políticas a partir de datos de ejecución. El estudio del modelo base utiliza paneles de tareas de LIBERO-PRO y RoboTwin, con tres episodios de evaluación por tarea y 360 y 150 episodios por modelo base.
Comparamos el desarrollo en las 50 tareas de RoboTwin con un solo agente y con roles separados. En la configuración de agente único, un Ingeniero planifica, ejecuta y evalúa sus propios intentos. En la configuración multiagente, un Planificador elabora el plan, el Ingeniero lo ejecuta y un Revisor diagnostica cada resultado a partir de las observaciones y los registros de herramientas. El agente único resuelve 9 de las 50 tareas, mientras que el sistema multiagente resuelve 36. Separar el diagnóstico de la ejecución permite que cada fallo reciba una revisión independiente antes del siguiente intento, en vez de dejar que el agente ejecutor evalúe su propio resultado.
Conclusiones y trabajo futuro
RoboRSI combina el Refinamiento de habilidades de arriba abajo y la coordinación multiagente para organizar la ejecución, el diagnóstico, la revisión local y las capacidades reutilizables, con el objetivo de lograr una autoevolución robótica estable, eficiente y reutilizable en entornos complejos del mundo real. El trabajo futuro transferirá la experiencia adquirida en simulación a robots físicos y permitirá compartir habilidades entre robots y plataformas.
Desarrollo exploratorio
Las primeras ejecuciones de LIBERO-Plus también permitieron actualizar capacidades en el benchmark objetivo. Sus configuraciones permitían intentos repetidos y actualizaciones en el entorno objetivo, mientras que el panel principal de transferencia de LIBERO-Plus mantiene fijas las capacidades de origen.
Revisiones de habilidades físicas en las rondas 25 y 33
Ambos registros corresponden a la tarea doméstica de recogida con el manipulador móvil. Cada revisión se incorporó junto con la ejecución que la activó, las cuatro ejecuciones recientes elegibles como búfer de repetición y los archivos modificados; la iteración en vivo se pausó hasta que terminó la validación.
Preguntas frecuentes
¿Qué es RoboRSI? RoboRSI es un sistema multiagente para la auto-mejora de robots que organiza la ejecución, el diagnóstico, la revisión de habilidades y su publicación validada.
¿Qué hace el Refinamiento de habilidades de arriba abajo? TSR atribuye los resultados de ejecución a la tarea o habilidad responsable y limita las revisiones a la primera parte de la jerarquía donde se produce el fallo.
¿Cómo se evaluó RoboRSI en un robot físico? Un manipulador móvil WheelSingleArm M1 realizó tareas domésticas de recogida del suelo a lo largo de 104 ejecuciones de desarrollo, con 24 horas de funcionamiento acumulado.
¿Cómo se comparó la configuración multiagente con un agente único en RoboTwin? El agente único resolvió 9 de 50 tareas, mientras que el sistema multiagente resolvió 36.