Simulación de la tarea de poda robótica de árboles
Para facilitar el aprendizaje de políticas visomotoras, construimos un simulador de poda robótica que reproduce la geometría de una escena de huerto. Como nuestra política depende del flujo óptico y no de la textura de la imagen, no es necesario alcanzar un fotorrealismo. Nuestro objetivo es generar escenarios de poda diversos, con variaciones en la ubicación de los puntos de corte, la orientación de las ramas y la iluminación, manteniendo al mismo tiempo una similitud estructural con los sistemas modernos de formación de árboles frutales.
Configuración del aprendizaje para la poda visomotora
Para lograr un despliegue robusto en el mundo real, es necesario exponer la política a las condiciones que encontrará en la práctica. Primero definimos el espacio de tareas e introducimos un procedimiento de muestreo que genera puntos de corte suficientemente diversos. Después especificamos las representaciones del estado y de las acciones utilizadas durante el aprendizaje y el despliegue. Por último, aprovechando el acceso a la información completa del estado en el entorno simulado, describimos nuestro método para recopilar automáticamente trayectorias exitosas.
Generación de episodios de entrenamiento diversos
Un episodio consta de una escena simulada con un punto de corte muestreado en una de las ramas terciarias. Al comienzo de cada episodio nuevo, la iluminación, el robot y la ubicación de la cámara se aleatorizan, como se explica en la Sección 3.
Espacio de tareas
Definimos una región probablemente alcanzable para el robot UR5e que incluye todos los puntos situados entre 75 y 105 cm de la base del robot, excluidos los puntos ubicados detrás del plano vertical de dicha base. Esta región se define heurísticamente a partir del alcance máximo del robot con las tijeras de poda (125 cm), la longitud máxima de las ramas orientadas hacia el exterior (40 cm) y la visibilidad del árbol necesaria para evitar obstáculos. Las posiciones situadas a menos de 30 cm producían vistas deficientes.
Esta región permitiría al robot alcanzar puntos de poda en hasta cuatro alambres de espaldera cuando se coloca delante del árbol en un huerto.
Espacios de observación y acción
Aunque el simulador proporciona información completa sobre la geometría y la pose del árbol, el espacio de observación de la política se limita a:
- Un objetivo que especifica el punto de corte.
- Imágenes de flujo óptico.
- Propiocepción del robot.
A continuación se resume el espacio de estados.
Propiocepción
Incluimos en el espacio de estados la pose de seis grados de libertad, la velocidad actual del efector final y los ángulos articulares del robot. La pose del efector final se define mediante su ubicación como coordenadas de posición cartesianas y su orientación mediante una parametrización de seis dimensiones. Los ángulos articulares se representan usando sus valores de seno y coseno. Esto da lugar a un estado propioceptivo de 27 dimensiones.
Acciones
La política genera velocidades lineales y angulares en el marco de referencia del efector final. A continuación, las velocidades articulares se calculan mediante el controlador de mínimos cuadrados amortiguados y se aplican durante 0,5 segundos, lo que corresponde a una frecuencia de control de 2 Hz.
Arquitectura de la política
Consideramos una arquitectura actor-crítico basada en LSTM, a la que añadimos un crítico privilegiado con acceso a características disponibles únicamente durante el entrenamiento y un codificador para aprender características visuales.
Crítico privilegiado
El crítico comparte con el actor el mismo codificador de imágenes y tiene una arquitectura idéntica, salvo por lo siguiente:
- Produce un único escalar.
- Recibe dos características escalares adicionales correspondientes a la similitud coseno de orientación y a la similitud coseno perpendicular entre el efector final y la rama que se va a podar.
Estas entradas dependen de información privilegiada sobre la geometría y la pose del árbol, pero no están disponibles para la política y solo se utilizan durante el entrenamiento.
Generación de datos sintéticos
Recopilar manualmente un conjunto de datos grande de trayectorias de poda exitosas —del orden de miles— resultaría prohibitivo por el esfuerzo humano necesario. Para resolverlo, automatizamos el proceso de generación aprovechando el entorno simulado con acceso a información perfecta del estado.
En concreto, utilizamos RRT-Connect, un método de planificación de movimiento basado en muestreo que produce puntos de paso que cumplen el criterio de éxito de la poda. Después, estos puntos se procesan para obtener trayectorias más suaves y se convierten en tuplas de transición compuestas por observación, acción, recompensa y siguiente observación, lo que las hace compatibles con la configuración de aprendizaje por refuerzo.
Generación de configuraciones objetivo
Cada punto de poda puede tener varias poses del efector final que cumplen el criterio de éxito, según la dirección de orientación y las tolerancias de alcance, orientación y perpendicularidad. Aunque algunas de estas poses son alcanzables mediante trayectorias sin colisiones, otras resultan inviables debido a colisiones con la vegetación circundante del huerto. Para identificar las soluciones factibles, generamos un conjunto de configuraciones del efector final que satisfacen el criterio de poda y utilizamos RRT-Connect para calcular trayectorias sin colisiones hasta esas poses.
Para muestrear poses válidas del efector final, comenzamos con la pose ideal: aquella perfectamente alineada con la rama que se va a podar, cuya orientación es la más cercana a la del marco inicial del efector final y que satisface el criterio de éxito.
A continuación, perturbamos aleatoriamente la pose resultante alrededor de los vectores de orientación y perpendicularidad. Estas perturbaciones se restringen a los umbrales definidos para la tarea, de modo que todas las poses objetivo muestreadas se mantienen dentro del intervalo aceptable para una poda exitosa. Finalmente, cada pose se convierte en una configuración del robot mediante cinemática inversa para poder pasarla a RRT-Connect.
Generación de trayectorias
Para cada punto de poda, ejecutamos RRT-Connect muestreando configuraciones objetivo hasta encontrar una trayectoria válida o alcanzar 100 intentos; después, el punto se descarta. Muestrear directamente las poses objetivo sobre la superficie de la rama provocaba a menudo fallos del planificador por la proximidad de las colisiones. Para mitigarlo, desplazamos la pose objetivo 5 cm a lo largo de la normal de la rama, manteniendo el efector final orientado hacia ella. Una vez encontrada una trayectoria válida, añadimos la pose objetivo final como última configuración.
RRT-Connect encuentra caminos factibles compuestos por puntos de paso discretos de configuración del robot. Estos caminos no son suaves y normalmente requieren un procesamiento posterior. Aplicamos shortcutting, una técnica de posprocesamiento que muestrea puntos aleatorios a lo largo del camino e intenta conectarlos directamente para formar caminos más cortos y suaves, pero todavía factibles.
Después, los caminos suavizados se submuestrean cada 5 cm para crear secuencias densas de puntos de paso. Estos puntos se convierten en trayectorias calculando comandos de velocidad del efector final con una frecuencia de control de 2 Hz. Para cada par de puntos de paso consecutivos, se calcula un vector de velocidad y se escala para garantizar que el efector final alcance el siguiente punto dentro del intervalo de control fijo.
Creación del conjunto de datos
Para generar tuplas de transición compuestas por observación, acción, recompensa y siguiente observación, reproducimos en el simulador las trayectorias de acciones de velocidad y registramos las transiciones en cada paso temporal. Solo se conservan las trayectorias que terminan en configuraciones exitosas.
Para construir el conjunto de datos a nivel de trayectoria, muestreamos uniformemente puntos de poda en todo el espacio de trabajo, como se describe en la sección sobre el espacio de tareas. En total, generamos 5.000 puntos de poda únicos en 1.000 árboles diferentes y aplicamos la cadena de generación de datos sintéticos a cada una de las arquitecturas UFO y V-Trellis.
Tras filtrar los intentos fallidos, el conjunto de datos final contiene:
| Arquitectura | Trayectorias de poda exitosas |
|---|---|
| V-Trellis | 4.282 |
| UFO | 4.424 |
Aprendizaje de una política de poda visomotora
La Optimización de Política Proximal (PPO) se ha utilizado con éxito para entrenar políticas de poda visomotoras. Trabajos recientes han demostrado que combinar el aprendizaje por refuerzo con un conjunto de datos fuera de línea de trayectorias exitosas puede mejorar el rendimiento frente al uso exclusivo del aprendizaje por refuerzo. Motivados por estos resultados, ampliamos el proceso de aprendizaje con un conjunto de datos generado sintéticamente a partir de trayectorias exitosas.
La cadena de generación de datos sintéticos utiliza el estado completo del entorno disponible en la simulación, mientras que la política aprendida opera con observabilidad parcial. Por ello, imitar directamente estas trayectorias puede producir acciones subóptimas; por ejemplo, la política podría empezar a girar el efector final antes de que la rama relevante sea visible.
Aplicar directamente el aprendizaje por imitación a este conjunto de datos reproduce esos comportamientos subóptimos. Por tanto, nuestro objetivo es desarrollar un algoritmo capaz de combinar trayectorias fuera de línea y en línea, alejándose de forma eficiente de las acciones deficientes presentes en los datos fuera de línea.
Métodos como PPO con aprendizaje por imitación pueden mitigar parcialmente este problema al añadir una pérdida de imitación a las actualizaciones en línea, pero no rechazan explícitamente las acciones subóptimas. Las pérdidas en competencia pueden degradar el rendimiento, como demuestra el hecho de que los algoritmos híbridos de aprendizaje por refuerzo suelen superar a las líneas base que añaden una pérdida de imitación.
Proponemos un método de Optimización de Política Proximal Híbrida que incorpora muestreo de importancia por decisión para corregir los datos fuera de política e integrarlos en el marco de PPO. Esto nos permite aprovechar simultáneamente los despliegues simulados y los datos fuera de línea.
Esta formulación ponderada por ventaja permite al crítico reasignar el peso de las acciones fuera de línea. Al asignar estimaciones de ventaja menores a las acciones subóptimas, la política evita favorecerlas en el conjunto de datos fuera de línea.
El algoritmo se compara, en la tarea de poda, con una línea base de PPO exclusivamente en línea, una línea base de aprendizaje por imitación exclusivamente fuera de línea y una línea base sencilla de PPO más aprendizaje por imitación.
Definición del problema
La política aprendida es una política gaussiana comprimida, parametrizada mediante una red neuronal. Su media se predice condicionada a la observación de la política, y la salida pasa por una función de compresión. La desviación estándar es independiente del estado y constituye un parámetro aprendido.
Despliegue
En los experimentos, la toma de decisiones de alto nivel y la secuenciación de tareas se implementaron mediante una arquitectura de árbol de comportamiento construida con PyTreesROS. La interacción del usuario y las anulaciones manuales se proporcionaron mediante un mando de PlayStation integrado en el árbol de comportamiento, para facilitar la operación durante las pruebas de campo.
Configuración de campo
Para las evaluaciones físicas, los puntos de poda objetivo se limitaron a los tres alambres de espaldera inferiores en los huertos comerciales UFO y V-Trellis. La configuración de laboratorio utilizó únicamente los dos alambres inferiores.
Configuración experimental
Diseñamos nuestra evaluación experimental para responder a cuatro preguntas fundamentales.
Validación algorítmica
¿Cómo se compara el algoritmo Hybrid-PPO propuesto con el aprendizaje por imitación, el PPO estándar y las líneas base de PPO más aprendizaje por imitación en estructuras V-Trellis simuladas?
Evaluación de la política entre arquitecturas en simulación
En ensayos de simulación exhaustivos y diversos, ¿cuál es el rendimiento general de la política aprendida en las arquitecturas de cubierta V-Trellis y Upright Fruiting Offshoots (UFO)?
Transferencia sim-to-real en el mundo real
¿Pueden las políticas entrenadas transferirse sin ejemplos adicionales a huertos físicos comerciales V-Trellis y experimentales UFO en condiciones operativas de campo?
Comparación con la línea base RRT-Connect
¿Cómo se comporta la política de aprendizaje por refuerzo frente a una línea base clásica de planificación de movimiento con RRT-Connect en hardware físico, usando un árbol V-Trellis en un entorno de laboratorio?
Evaluación de la política entre arquitecturas en simulación
Para evaluar el rendimiento de nuestra política entrenada dentro de nuestro espacio de trabajo, realizamos ensayos exhaustivos de simulación con puntos de poda muestreados uniformemente tanto en ubicación como en orientación para las arquitecturas V-Trellis y UFO.
También ejecutamos un planificador RRT-Connect oráculo, equipado con información perfecta del entorno y un gran presupuesto computacional, para establecer el límite superior de la tasa de éxito. Estos experimentos exhaustivos nos permiten evaluar todas las configuraciones posibles de las ramas, algo logísticamente prohibitivo y arriesgado para el hardware en ensayos físicos de campo.
Obtener mallas tridimensionales precisas y sin ruido en el mundo real es extremadamente difícil, por lo que esta configuración no resulta realista para aplicaciones prácticas de campo. Sin embargo, esta evaluación rigurosa establece el límite absoluto de rendimiento, en el mejor de los casos, para un planificador clásico dotado de percepción perfecta.
Política de aprendizaje por refuerzo
Ejecutamos la política de aprendizaje por refuerzo aprendida realizando la acción más probable predicha por la red. Para cada punto de corte, al igual que durante el entrenamiento, la política se ejecuta durante 100 pasos de simulación a 2 Hz o hasta alcanzar la condición de terminación.
Transferencia sim-to-real en el mundo real
Para validar la transferencia sim-to-real de nuestras políticas aprendidas, evaluamos el sistema en el número indicado de ensayos reales repartidos entre dos configuraciones:
- El número indicado de ensayos controlados de laboratorio en una estructura V-Trellis construida.
- El número indicado de ensayos de campo al aire libre en huertos comerciales de manzanos V-Trellis y huertos experimentales de cerezos UFO, bajo condiciones operativas de campo.
Los huertos donde se realizaron los experimentos se encuentran en Prosser, Washington, EE. UU. Los ensayos de campo al aire libre se llevaron a cabo en condiciones ambientales y atmosféricas diversas, como cielo cubierto, niebla, lluvia ligera, cielo parcialmente nublado y luz solar directa e intensa.
Debido a las diferencias geométricas entre las arquitecturas V-Trellis y UFO, se entrenaron y desplegaron políticas separadas para cada una. Queda por investigar si un entrenamiento conjunto podría aprovechar representaciones estructurales compartidas entre los distintos tipos de cubierta.
Resultados
Esta sección presenta los resultados correspondientes a cada una de las cuatro preguntas de investigación.
Validación algorítmica
Hybrid-PPO alcanza tasas medias de éxito superiores a las del aprendizaje por imitación, el PPO estándar y las líneas base de PPO más aprendizaje por imitación.
Evaluación de la política entre arquitecturas en simulación
En ensayos exhaustivos de simulación, la política alcanza la tasa de éxito indicada en V-Trellis y la tasa de éxito indicada en las arquitecturas UFO, mejorando el rendimiento de referencia anterior.
Transferencia sim-to-real en el mundo real
Las políticas aprendidas ejecutan correctamente tareas sin ejemplos adicionales en el número indicado de ensayos de campo y el número indicado de ensayos de laboratorio, bajo condiciones ambientales exteriores variables.
Comparación con la línea base RRT-Connect
En hardware físico, el controlador de aprendizaje por refuerzo supera a un planificador clásico RRT-Connect que utiliza nubes de puntos reconstruidas, en términos de tasa global de éxito.
La siguiente subsección detalla estos resultados.
Validación algorítmica
Las curvas de recompensa del entrenamiento para cada método, en tres semillas aleatorias, muestran que el PPO estándar presenta una variabilidad notablemente mayor entre semillas. Hybrid-PPO y PPO más aprendizaje por imitación alcanzan de forma consistente recompensas medias superiores, aunque las distribuciones de recompensa de los distintos métodos se solapan.
Como la magnitud de la recompensa bruta no siempre se correlaciona directamente con la ejecución de la tarea —a menudo debido a un diseño de recompensas desalineado o a la explotación indebida de la recompensa—, basamos nuestra evaluación principal en las tasas de éxito de la tarea, que ofrecen una medida directa del éxito físico de la poda.
Preguntas frecuentes
¿Qué robot se utiliza para la tarea de poda? La tarea utiliza un robot UR5e equipado con tijeras de poda.
¿Qué observa la política? La política observa un objetivo de punto de corte, imágenes de flujo óptico y la propiocepción del robot.
¿Cómo se generan los datos sintéticos de entrenamiento? RRT-Connect genera trayectorias sin colisiones a partir de configuraciones muestreadas del efector final; estas se reproducen en el simulador para crear tuplas de transición.
¿Por qué utiliza el método un crítico privilegiado? El crítico privilegiado utiliza características de la geometría del árbol disponibles únicamente durante el entrenamiento para reasignar el peso de las acciones fuera de línea, mientras mantiene parcialmente observable la política desplegada.