Este trabajo presenta un marco de adaptación continua sin recompensas basado en modelos del mundo. El enfoque se demuestra en tres dominios distintos de la robótica espacial: desplazamiento planetario, navegación orbital y ensamblaje de precisión. En cada caso, se simulan fallos morfológicos graves mediante averías en los actuadores o desalineaciones cinemáticas, lo que introduce discrepancias significativas entre las dinámicas preentrenadas y las degradadas. Bajo restricciones de tiempo e interacción, el agente se evalúa frente a una línea base de política cero-shot, un agente con información privilegiada sobre las recompensas y otro reentrenado desde cero. Este trabajo representa un paso hacia una autonomía verdaderamente resiliente en entornos extremos, donde los robots puedan adaptarse a desafíos imprevistos sin intervención humana.
Metodología
El marco de adaptación continua sin recompensas se basa en la arquitectura DreamerV3, que utiliza un modelo del mundo en el espacio latente para comprimir observaciones de alta dimensionalidad en representaciones compactas. Durante el preentrenamiento se sigue el procedimiento estándar: el modelo del mundo se optimiza conjuntamente a partir de trayectorias observadas, mientras una política actor-crítico se entrena simultáneamente por completo en rollouts sintetizados por el modelo del mundo.
La principal exploración científica se centra en la fase de adaptación en línea. Solo se actualizan las dinámicas de transición del modelo del mundo, mientras el codificador y las demás cabezas, incluido el predictor de recompensas, permanecen congelados. Con este cambio mínimo, el agente puede aprovechar el paisaje de recompensas latente aprendido durante el preentrenamiento para guiar su adaptación a las nuevas dinámicas del entorno.
El flujo de trabajo se divide en dos fases diferenciadas:
- Preentrenamiento del modelo del mundo.
- Adaptación sin recompensas.
Adaptación sin recompensas
Tras su despliegue, se espera que cualquier robot acabe encontrándose con condiciones ambientales novedosas y degradación del hardware que alteren significativamente las dinámicas de transición subyacentes. Puesto que la política actor-crítico se entrenó por completo mediante imaginación, su comportamiento incorpora de forma inherente las dinámicas de transición codificadas en el modelo del mundo original. Por tanto, cualquier divergencia significativa en las dinámicas reales del nuevo entorno provocaría el fallo catastrófico de la política cero-shot, ya que las acciones muestreadas dejarían de producir los resultados esperados.
La adaptación en línea es fundamental para recuperar el rendimiento. El desafío principal es que las recompensas pueden no ser observables. Este marco aborda el problema aprovechando el predictor de recompensas preentrenado, que captura la estructura de recompensas subyacente en el espacio latente del modelo del mundo. Al mantener esta cabeza congelada durante la adaptación, se espera que el actor-crítico siga recibiendo señales de recompensa significativas basadas en sus representaciones latentes actualizadas, incluso cuando cambien las dinámicas de transición.
Esto permite al agente adaptar su política mediante rollouts no supervisados que actualizan las dinámicas de transición al tiempo que mantienen un paisaje de recompensas coherente.
En tareas de horizonte fijo, el predictor de continuidad puede permanecer congelado o actualizarse para reflejar nuevas condiciones de finalización de los episodios. Aquí se mantiene congelado porque las condiciones de finalización no cambian entre los entornos de preentrenamiento y despliegue. Si la degradación altera significativamente la estructura de los episodios, puede ser necesario actualizar este predictor.
Resultados experimentales
Una serie de experimentos exclusivamente de simulación demuestra aspectos clave del marco de adaptación.
Formulación de las tareas y modos de fallo
Se diseñaron tres tareas distintas en dominios planetarios y orbitales, cada una asociada a un fallo morfológico no modelado que provoca un cambio significativo en las dinámicas de transición subyacentes. Todas las tareas se implementan sobre NVIDIA Isaac Lab en el marco de Space Robotics Bench.
Desplazamiento planetario
La tarea de desplazamiento planetario utiliza un rover experimental inspirado en el prototipo ERNEST del JPL de la NASA. El rover, equipado con 12 actuadores, cuenta con un sistema de suspensión cardánica activa de doble cara para mantener el contacto con el suelo y la estabilidad en terrenos extremos.
El rover debe recorrer un circuito de obstáculos generado proceduralmente mientras mantiene un vector de velocidad objetivo. El modo de fallo se simula bloqueando la articulación de dirección y tracción de la rueda delantera derecha, lo que introduce un arrastre asimétrico considerable.
Protocolo experimental
Durante ambas fases, el agente mantiene acceso a observaciones propioceptivas, además del estado para el seguimiento relativo del objetivo en el desplazamiento planetario y la navegación orbital, o de la pose del tornillo en el ensamblaje mediante atornillado.
El espacio de acciones no cambia, incluso después de que la degradación morfológica vuelva obsoletas ciertas acciones debido al fallo de un actuador. Para cada tarea, la fase de adaptación se repite con tres semillas aleatorias y modelos preentrenados idénticos a fin de evaluar la robustez.
Evaluación del rendimiento
Se realizan un seguimiento de métricas normalizadas de progreso específicas de cada tarea para cuatro agentes:
- Una línea base cero-shot que evalúa la política preentrenada.
- Un agente reentrenado desde cero con las nuevas dinámicas, que sirve como cota superior asintótica.
- Un agente adaptativo con acceso a recompensas privilegiadas.
- El agente adaptativo sin recompensas.
Aparte de la línea base cero-shot, el agente sin recompensas es el único agente adaptativo que no tiene acceso a la señal de recompensa real. Depende por completo del paisaje de recompensas latente codificado en el modelo del mundo, lo que lo hace viable para aplicaciones en el mundo real.
Las políticas cero-shot fallan catastróficamente en todos los dominios debido al cambio de dinámicas no modelado. La línea base reentrenada confirma que las tareas siguen siendo resolubles pese a la degradación del hardware, pero también pone de relieve la extrema ineficiencia muestral de aprender desde cero. El agente con información privilegiada demuestra una recuperación rápida y alcanza un rendimiento cercano a la cota superior del reentrenamiento.
El agente sin recompensas también muestra una recuperación inicial prometedora, lo que demuestra que los modelos del mundo latentes pueden guiar la adaptación sin recompensas externas. Sin embargo, sus perfiles de aprendizaje revelan limitaciones claras. En los tres dominios, el agente rinde sistemáticamente por debajo de la línea base privilegiada. Tras una mejora inicial del rendimiento, presenta una volatilidad y un deterioro considerables, especialmente en las tareas orbital y de ensamblaje.
Estos resultados sugieren que el paisaje de recompensas latente basta para recuperar la política a corto plazo, pero carece de la estabilidad a largo plazo de las recompensas explícitas. La actualización de las dinámicas de transición en morfologías degradadas probablemente hace que la representación del modelo recurrente de espacio de estados se aleje del espacio latente original.
Debate y conclusiones
Los resultados experimentales validan la hipótesis central: los modelos del mundo en espacios latentes, preentrenados en simulaciones diversas, codifican un paisaje de recompensas capaz de guiar la adaptación en línea sin observar nuevas recompensas. Al aislar la actualización de las dinámicas de la predicción de recompensas, este marco aborda un obstáculo crítico de la robótica espacial, donde a menudo es imposible calcular recompensas en línea.
Sin embargo, el deterioro en las etapas finales deja al descubierto un límite de capacidad del modelo recurrente de espacio de estados. Puesto que la cabeza de recompensas permanece congelada, actualizar continuamente las dinámicas de transición principales en morfologías degradadas acaba sobrescribiendo los principios generalizados adquiridos durante el preentrenamiento.
A pesar de su eficacia, el marco presenta limitaciones claras. Para evitar el deterioro en las etapas finales, el trabajo futuro investigará adaptadores localizados del espacio latente que acoten estrictamente las actualizaciones de las dinámicas.
El estudio, realizado exclusivamente en simulación, también deja de lado las particularidades de la brecha entre simulación y realidad. Además, la exigente optimización de la fase de adaptación en línea supera con creces las estrictas restricciones energéticas de los módulos informáticos integrados de uso espacial, por lo que serán necesarios avances futuros en aprendizaje eficiente in situ.
Preguntas frecuentes
¿Qué es la adaptación continua sin recompensas? Es un enfoque que adapta un robot a dinámicas modificadas sin observar nuevas recompensas externas, utilizando un paisaje de recompensas latente preentrenado.
¿Qué partes del modelo del mundo se actualizan durante la adaptación? Solo se actualizan las dinámicas de transición. El codificador, el predictor de recompensas y el predictor de continuidad permanecen congelados en las condiciones descritas.
¿Cómo se compara el agente sin recompensas con los demás agentes? Al principio recupera rendimiento, pero rinde sistemáticamente por debajo del agente con recompensas privilegiadas y después muestra volatilidad y deterioro.
¿Qué provoca el deterioro del rendimiento en las etapas finales? La actualización continua de las dinámicas de transición en morfologías degradadas probablemente hace que la representación del modelo recurrente de espacio de estados se aleje del espacio latente original.