Metodología
Proponemos un marco de descomposición jerárquica para el control de la manipulación robótica denominado HiRoC. En HiRoC, el planificador y el ejecutor se diseñan como dos módulos complementarios. El planificador, entrenado mediante ajuste fino supervisado (SFT), genera subobjetivos según la situación actual. Estos subobjetivos guían las decisiones del ejecutor, que se entrena mediante SFT y ajuste con aprendizaje por refuerzo (RL).
Entrenamiento del planificador mediante SFT
Los modelos base existentes para la IA encarnada no logran descomponer las tareas en subtareas ni generar dinámicamente los subobjetivos correspondientes. Para superar este problema, ajustamos nuestro planificador mediante SFT. Sin embargo, los datos disponibles no son suficientes para entrenarlo. Por ello, depuramos y reorganizamos conjuntos de datos existentes para el entrenamiento del planificador.
Entrenamiento del planificador
A partir de las trayectorias preparadas, el planificador se optimiza mediante SFT para generar el subobjetivo correspondiente a partir de la observación actual. En concreto, dado el conjunto de datos reconstruido, el objetivo de SFT se formula de la siguiente manera:
El objetivo de SFT entrena al planificador para predecir el subobjetivo adecuado a partir de la observación actual y de los datos de entrenamiento reconstruidos.
Experimentos
Adoptamos Qwen2.5-VL-3B como planificador y lo ajustamos con LoRA sobre nuestros datos preparados. Como ejecutor empleamos OpenVLA-OFT. Primero ajustamos el ejecutor mediante SFT con LoRA sobre los datos reorganizados y condicionados por subobjetivos, y después aplicamos ajuste mediante aprendizaje por refuerzo.
El tamaño de grupo de GRPO se establece en 8. Durante la evaluación, realizamos 50 episodios de prueba por tarea e informamos de la tasa media de éxito para cada tarea y conjunto de referencia. Todos los experimentos se llevan a cabo con 8 GPU NVIDIA H200. Comparamos HiRoC con diez líneas base representativas. En el apéndice se ofrecen más detalles.
Capacidad de transferencia: rendimiento de cero disparos
Para evaluar la capacidad de generalización de HiRoC, lo validamos en LIBERO-Plus, donde comparamos OpenVLA, OpenVAL*-One y WorldVLA. Se indican la tasa de éxito de cada perturbación y la tasa media de éxito.
HiRoC logra la mejor generalización en todos los tipos de perturbación. Su notable mejora frente a modelos basados en SFT, como OpenVLA, indica que la interacción en línea explora trayectorias más diversas que un conjunto de datos estático y completo.
Aunque WorldVLA mejora la generalización al modelar la dinámica del entorno, sigue siendo sensible a los cambios ambientales y requiere datos adicionales para adaptarse a nuevas tareas. En cambio, HiRoC descompone el objetivo en subobjetivos, lo que permite al ejecutor centrarse en cada uno de ellos y reduce así su carga.
Experimentos en el mundo real
Para validar la aplicabilidad práctica de HiRoC, realizamos un experimento de transferencia sim-to-real en una plataforma robótica real. Durante el entrenamiento, el ejecutor se optimiza por completo en un simulador de alta fidelidad, cuyo espacio de trabajo, dimensiones de los objetos y configuración robótica coinciden con los del sistema real.
A continuación, la política VLA entrenada se despliega directamente en el robot real sin ningún ajuste fino adicional. Guiado por los subobjetivos generados por el planificador, el ejecutor se aproxima al objeto objetivo, lo agarra, lo transporta y lo coloca correctamente.
Este despliegue exitoso demuestra la eficacia de HiRoC para la manipulación robótica en el mundo real y su prometedora capacidad de transferencia sim-to-real.
Conclusión
Proponemos HiRoC, un marco de posentrenamiento jerárquico compuesto por un planificador de alto nivel y un ejecutor de bajo nivel. El planificador, entrenado mediante SFT, descompone las tareas complejas en subtareas más sencillas y genera subobjetivos que guían la ejecución.
Para corregir el desajuste de distribución entre ambos módulos, reorganizamos el conjunto de datos condicionado por subobjetivos y optimizamos posteriormente el ejecutor mediante ajuste con RL. Los resultados experimentales y los análisis exhaustivos demuestran la eficacia de HiRoC y de cada uno de sus componentes.
Aunque HiRoC demuestra el valor de la descomposición jerárquica para la manipulación robótica, el trabajo futuro explorará el entrenamiento de extremo a extremo y mecanismos de descomposición más robustos para gestionar la incertidumbre en sistemas físicos del mundo real. Esperamos que HiRoC subraye la importancia de combinar la descomposición jerárquica de tareas con la optimización de políticas basada en aprendizaje por refuerzo para abordar tareas complejas de manipulación robótica.
Detalles experimentales
Experimentos de simulación
Realizamos todos los experimentos en los cuatro conjuntos de referencia de LIBERO: Spatial, Object, Goal y el conjunto LIBERO-10 de horizonte largo.
Siguiendo trabajos anteriores, primero ajustamos el modelo OpenVLA-OFT preentrenado con un pequeño subconjunto de demostraciones de cada conjunto para obtener un ejecutor base específico para cada uno. El planificador de alto nivel se inicializa a partir de Qwen2.5-VL-3B y se ajusta mediante SFT sobre nuestro conjunto de datos seleccionado para generar subobjetivos lingüísticos intermedios.
Experimentos en el mundo real
Realizamos los experimentos en el mundo real en JoySim, utilizando JoyRA-0.1 como modelo VLA base. La tarea consiste en que el robot agarre un frasco de líquido corrector de la mesa y lo coloque dentro de una caja.
El planificador de alto nivel se inicializa a partir de Qwen2.5-VL-3B y se ajusta mediante SFT, mientras que el ejecutor de bajo nivel se inicializa a partir de JoyRA-0.1 y se optimiza mediante Flow-SDE a través del aprendizaje por refuerzo en simulación.
Tras el entrenamiento, la política aprendida se despliega directamente en la plataforma robótica real para su evaluación de cero disparos, sin ningún ajuste fino adicional en el mundo real.
Detalles de los prompts
Los prompts del planificador de alto nivel y del ejecutor de bajo nivel se proporcionan en el artículo.
Estudio de caso
Varios casos representativos de manipulación ilustran la eficacia de HiRoC en tareas robóticas de horizonte largo. A diferencia de las políticas VLA planas, que se condicionan continuamente a la instrucción global, HiRoC descompone explícitamente las tareas complejas en subobjetivos secuenciales mediante el planificador de alto nivel, lo que permite al ejecutor centrarse en el objetivo de manipulación actual.
En un caso, el robot debe recoger el queso crema y colocarlo en la cesta. El planificador genera primero el subobjetivo «acercarse al queso crema», guiando al ejecutor para localizar y alcanzar el objeto objetivo. Una vez que el robot se aproxima al objeto, el planificador actualiza el objetivo a «levantar el queso crema», lo que permite al ejecutor realizar acciones de agarre precisas.
Posteriormente, el subobjetivo cambia, respectivamente, a «moverse hasta la cesta» y «colocar en la cesta». Al proporcionar una guía semántica específica para cada etapa, HiRoC evita la ambigüedad de ejecutar directamente la instrucción completa y logra completar la secuencia de manipulación de horizonte largo.
Un segundo caso demuestra la capacidad de HiRoC para gestionar tareas que requieren interacciones secuenciales con distintos objetivos espaciales. Ante la instrucción de colocar el cuenco en el cajón inferior, el planificador descompone gradualmente la tarea en las etapas de aproximación, elevación y colocación.
En lugar de exigir al ejecutor que infiera todo el procedimiento de manipulación a partir de la instrucción global, cada subobjetivo proporciona un objetivo intermedio claro. Como consecuencia, el ejecutor puede adaptar su comportamiento a la etapa actual de la tarea y mantener un progreso constante durante toda la ejecución, lo que demuestra la ventaja de la descomposición jerárquica de tareas.
Un tercer caso ilustra un escenario más complejo de manipulación de varios objetos, en el que el robot debe colocar dos cafeteras moka sobre el fogón. El planificador guía primero al ejecutor para que se aproxime a la primera cafetera y la levante; después, le indica que la coloque sobre el fogón y genera nuevos subobjetivos para manipular la segunda.
Este caso pone de relieve que HiRoC puede organizar dinámicamente múltiples pasos de manipulación y gestionar tareas con operaciones repetidas a nivel de objeto. Al combinar subobjetivos generados por el planificador con la optimización del ejecutor condicionada por subobjetivos, HiRoC ofrece una guía fiable para la toma de decisiones de horizonte largo y logra completar las tareas de forma robusta.
Preguntas frecuentes
¿Qué es HiRoC? HiRoC es un marco de posentrenamiento jerárquico con un planificador de alto nivel y un ejecutor de bajo nivel para la manipulación robótica.
¿Cómo se entrena el planificador? El planificador se inicializa a partir de Qwen2.5-VL-3B y se ajusta mediante aprendizaje supervisado para generar subobjetivos lingüísticos intermedios.
¿Cómo se optimiza el ejecutor? Primero se entrena el ejecutor mediante aprendizaje supervisado con datos reorganizados y condicionados por subobjetivos; después se optimiza mediante ajuste con aprendizaje por refuerzo.
¿Se transfiere HiRoC a un robot real? Sí. Una política entrenada en simulación se desplegó directamente en una plataforma robótica real para su evaluación de cero disparos, sin ajuste fino adicional en el mundo real.