Presentamos un marco de aprendizaje por refuerzo jerárquico que permite a robots cuadrúpedos manipular objetos usando sus patas — una capacidad conocida como pedipulación. Al usar affordances como representaciones de nivel medio que identifican dónde y cómo interactuar con un objeto, nuestro método reduce la necesidad de costosa planificación de movimiento de cuerpo completo y mejora la generalización a través de diferentes objetos y terrenos.
Introducción
Los robots con patas se han centrado tradicionalmente en la locomoción, dejando las tareas de manipulación a brazos de base fija. La pedipulación — manipular objetos con las patas — ofrece una forma natural para que los cuadrúpedos interactúen con su entorno sin sacrificar la movilidad. Sin embargo, los enfoques existentes requieren un modelado preciso de la dinámica robot-objeto y a menudo fallan al transferir de la simulación al mundo real.
El Enfoque Basado en Affordances
Introducimos una arquitectura de aprendizaje por refuerzo jerárquico que opera en dos niveles. Una política de alto nivel selecciona qué affordance ejecutar — como empujar a la izquierda, empujar a la derecha o tirar — mientras que una política de bajo nivel aprende la trayectoria precisa de la pata para esa interacción. Las affordances se definen como regiones en la superficie del objeto que posibilitan una acción específica, identificadas mediante una red neuronal profunda entrenada con datos de interacción.
Marco de Aprendizaje
La política de alto nivel recibe el estado del robot y la pose del objeto, y genera una acción categórica correspondiente a uno de cinco modos de interacción: inactivo, empujar-izquierda, empujar-derecha, tirar-izquierda o tirar-derecha. La política de bajo nivel genera entonces comandos de motor a nivel de articulación para ejecutar ese modo. Esta estructura de dos niveles permite al sistema reutilizar habilidades de bajo nivel aprendidas en diferentes objetos y condiciones ambientales.
Resultados de Simulación
Evaluamos nuestro método en simulación con múltiples tipos de objetos (cajas, cilindros y formas irregulares) y condiciones de fricción superficial. El enfoque basado en affordances logró un 87% de tasa de éxito en tareas en comparación con el 62% de una línea base que usaba puntos de interacción fijos, requiriendo un 40% menos pasos de entrenamiento para converger.
Transferencia al Mundo Real
Para validar la transferencia de simulación a real, desplegamos las políticas aprendidas en un robot cuadrúpedo Unitree Go1. El robot desplazó con éxito objetos de hasta 1.5 kg en diversas superficies de suelo, incluyendo alfombra, baldosa y concreto. Observamos una tasa de éxito de simulación a real del 73%, con la mayoría de fallos atribuibles a dinámicas de fricción no modeladas e irregularidades del suelo.
Comparación con Alternativas
Nuestro enfoque jerárquico superó a dos líneas base: un método de aprendizaje por refuerzo no jerárquico que tuvo dificultades para descubrir estrategias de manipulación efectivas, y un controlador basado en modelo que requería un seguimiento preciso del objeto y fallaba bajo oclusiones. El método basado en affordances mantuvo un rendimiento robusto incluso cuando las estimaciones de la pose del objeto estaban corrompidas con hasta 5 cm de ruido.
Experimentos
Dado que los estudios existentes de pedipulación no están disponibles públicamente, evaluamos nuestro enfoque en una variedad de condiciones para determinar su efectividad. Primero comparamos el desplazamiento logrado por interacción física en diferentes direcciones de interacción y demostramos, en simulación, las ventajas de seleccionar un punto de contacto apropiado en la superficie del obstáculo. Luego extendimos nuestra evaluación a experimentos del mundo real para evaluar tanto el rendimiento de transferencia simulación-real como la efectividad del pipeline completo bajo condiciones de operación no ideales.
Conclusiones
Para trabajo futuro, buscamos aprovechar los datos de interacción recolectados para aprender representaciones centradas en objetos que puedan usarse para mejorar la manipulación posterior y la utilización in situ de los objetos.
Preguntas Frecuentes
¿En qué se diferencia el enfoque basado en affordances del aprendizaje por refuerzo estándar para pedipulación? En lugar de aprender una única política monolítica, nuestro método usa una estructura jerárquica donde una política de alto nivel selecciona modos de interacción y una política de bajo nivel ejecuta trayectorias de la pata, haciendo el aprendizaje más rápido y más transferible entre objetos.
¿Qué tipos de objetos puede manipular el robot? El sistema se probó con cajas, cilindros y objetos de forma irregular de hasta 1.5 kg en diversas superficies de suelo, incluyendo alfombra, baldosa y concreto.
¿Qué tan bien transfiere el método de la simulación al mundo real? Logramos una tasa de éxito de simulación a real del 73%, con la mayoría de fallos causados por dinámicas de fricción no modeladas e irregularidades del suelo, no por errores fundamentales de la política.
¿Por qué usar affordances en lugar de puntos de interacción precomputados? Las affordances permiten al robot seleccionar dinámicamente puntos de contacto óptimos en la superficie del objeto, logrando un 87% de éxito en tareas en comparación con el 62% de puntos de interacción fijos, mientras usa menos pasos de entrenamiento.