Introducción
El aprendizaje profundo ofrece la posibilidad de aprender directamente de la experiencia de conducción los efectos que dependen del terreno. Un número creciente de trabajos ha explorado la estimación supervisada y autosupervisada de la transitabilidad para robots terrestres, utilizando señales propioceptivas, como la aceleración, para generar supervisión destinada a modelos visuales del terreno. Más recientemente, las representaciones visuales preentrenadas y los modelos fundacionales visuales han demostrado una transferencia prometedora entre entornos visualmente diversos, reduciendo la cantidad de datos específicos de cada tarea necesarios para aprender representaciones de transitabilidad. Estos avances sugieren que la telemetría de conducción y la propiocepción del rover podrían proporcionar etiquetas útiles sobre la idoneidad del terreno, además de las etiquetas geométricas de peligro convencionales.
Sin embargo, la robótica planetaria carece de un conjunto de datos a gran escala que conecte directamente la experiencia de conducción con las observaciones multimodales necesarias para aprender la transitabilidad. Los conjuntos de datos existentes sobre Marte se han centrado principalmente en la semántica visual o en la clasificación del terreno. Por ejemplo, AI4MARS proporciona cientos de miles de etiquetas de segmentación semántica sobre imágenes recopiladas por los rovers Spirit, Opportunity y Curiosity. Aunque estas anotaciones ofrecen información valiosa sobre el aspecto visual del terreno, no codifican directamente cómo un rover de seis ruedas interactuó físicamente con él.
En este trabajo se presenta un conjunto de datos a gran escala, elaborado a partir de aproximadamente 500 soles de operaciones de movilidad en superficie de Perseverance. El conjunto incluye observaciones estereoscópicas en escala de grises de las cámaras de navegación (NavCam), junto con las poses del rover, mediciones inerciales, configuraciones rocker-bogie y valores estimados de deslizamiento e inclinación. Así, proporciona un registro multimodal tanto de lo que observó el rover como de su respuesta al terreno. Es importante destacar que las trayectorias representadas en el conjunto no se generaron artificialmente: surgen de una combinación de decisiones tomadas por operadores humanos del Rover Planner y ejecutadas conjuntamente con el software embarcado ENav. Por tanto, los datos capturan la distribución de terrenos, estados del vehículo y condiciones de conducción encontradas durante una exploración planetaria real.
A partir de este conjunto de datos, el trabajo investiga si la experiencia de conducción fuera de la Tierra puede utilizarse para aprender una representación visual de la transitabilidad del terreno. Se emplean modelos fundacionales visuales para extraer características transferibles y se entrena un estimador de transitabilidad con supervisión derivada de los datos propioceptivos del rover. Posteriormente, la representación aprendida se proyecta en un mapa de transitabilidad que se integra en el planificador existente basado en estéreo, ENav. En lugar de sustituir la pila geométrica de autonomía, este enfoque la complementa con una evaluación aprendida del terreno.
El sistema resultante se valida en una plataforma de rover equivalente a la terrestre, con características de peso y movilidad similares a las de Perseverance en Marte. Esta evaluación permite comprobar físicamente si la información aprendida a partir de datos de conducción marciana puede mejorar la navegación en escenarios de lazo cerrado.
Las contribuciones son tres:
- Se presenta un conjunto de datos multimodal de conducción, recopilado durante 500 soles por el rover Perseverance de la misión Mars 2020 (M2020). Contiene imágenes estereoscópicas sincronizadas, poses, mediciones inerciales, ángulos del sistema rocker-bogie y estimaciones de inclinación y deslizamiento.
- Se presenta un marco de aprendizaje contrastivo que aprovecha modelos fundacionales visuales preentrenados y la experiencia de conducción del rover para estimar la transitabilidad del terreno a partir de observaciones visuales.
- Se demuestra la integración en lazo cerrado de la representación aprendida de transitabilidad con el planificador ENav en un rover equivalente a los utilizados en la Tierra.
En conjunto, el conjunto de datos y el marco de aprendizaje propuesto conectan los datos operativos de los rovers planetarios con la navegación moderna basada en aprendizaje profundo, y abren nuevas vías para investigar la exploración y la navegación autónomas en otros planetas.
Transitabilidad del terreno basada en aprendizaje
Estos enfoques son especialmente relevantes para la robótica planetaria, ya que etiquetar manualmente el terreno según la movilidad del rover resulta impracticable. Los registros de conducción de Perseverance proporcionan una fuente natural de supervisión: las observaciones visuales pueden asociarse con el movimiento observado del rover, su respuesta inercial, la configuración del vehículo y el deslizamiento percibido. Esto permite definir la transitabilidad en función de la respuesta conductual del rover real, en lugar de hacerlo a partir de una categoría semántica genérica del terreno. Este trabajo extiende el aprendizaje de transitabilidad basado en la experiencia a datos reales de conducción planetaria recopilados durante cientos de soles.
Modelos fundacionales visuales para la navegación
Este trabajo parte del uso emergente de modelos fundacionales visuales para la navegación y aborda la diferencia de dominio visual entre los entornos terrestres y los de otros mundos. En lugar de depender únicamente de representaciones preentrenadas, utiliza la experiencia de conducción de Perseverance para adaptar las características visuales a la noción de transitabilidad específica del rover. Esta combinación de representaciones de modelos fundacionales con datos de conducción planetaria de larga duración permite transferir el amplio conocimiento visual de los modelos preentrenados en la Tierra, al tiempo que fundamenta sus predicciones en interacciones reales entre el rover y el terreno.
Arquitectura del modelo
El modelo desplegado puede entenderse a partir de tres componentes:
- Un codificador DINOv2 ViT-L/14 preentrenado y congelado.
- Un decodificador transformer aprendido, con 5 millones de parámetros, que genera un espacio organizado por deslizamiento.
- Una cabeza de perceptrón multicapa (MLP) de dos capas encargada de predecir cuantiles.
Predicción de la transitabilidad
Dado que el conjunto de datos contiene una distribución sesgada de las mediciones de deslizamiento, sobre el transformer se aprende una cabeza de cuantiles en lugar de utilizar regresión. Esta cabeza está formada por una MLP de dos capas que transforma las características de cada píxel en valores de cuantiles.
La cabeza de cuantiles predice un intervalo de posibles valores de deslizamiento para cada píxel, en lugar de una única estimación.
La MLP se entrena para minimizar la pérdida pinball acumulada de soles no vistos desde la perspectiva del transformer. Durante la inferencia, la transitabilidad final se determina tomando el peor caso entre el valor mediano del deslizamiento y la incertidumbre predictiva, representada por la amplitud de la distribución.
Visualización del espacio latente
Las características de 64 dimensiones de los píxeles correspondientes a las huellas de las ruedas en el conjunto reservado se proyectan en dos dimensiones y se colorean según el deslizamiento real. El análisis de componentes principales (PCA) conserva las direcciones globales dominantes de variación, mientras que el t-SNE (t-distributed stochastic neighbor embedding) enfatiza la estructura local de vecindad. Ambas proyecciones utilizan las mismas muestras.
La proyección PCA muestra un gradiente cromático continuo: las muestras con mucho deslizamiento se concentran a la izquierda y las de poco deslizamiento, a la derecha. Por tanto, la representación no separa los datos en grupos «seguros» y «peligrosos»; en su lugar, una de sus direcciones dominantes varía de forma continua con la magnitud del deslizamiento.
La proyección t-SNE muestra una estructura local complementaria: los puntos vecinos comparten colores similares y conservan el gradiente. Las muestras con mucho deslizamiento forman varios grupos locales, en lugar de un único grupo aislado, lo que sugiere que un deslizamiento elevado puede corresponder a más de un aspecto visual del terreno. La coherencia de la región de poco deslizamiento a la derecha indica una representación consistente del terreno transitable y benigno.
Experimentos con hardware
El método propuesto se transfiere a un entorno visualmente fuera de distribución en un lugar de pruebas análogo a la Tierra. Las pruebas se realizaron principalmente sobre terreno llano, con diversos rocas de gran tamaño como obstáculos.
Mientras el rover maniobra alrededor de distintos bloques rocosos, el modelo genera un mapa de transitabilidad y lo proyecta sobre una cuña. El planificador modificado recibe las puntuaciones de transitabilidad y las fusiona con el mapa de costes geométricos original para buscar una trayectoria.
Conclusión
Se presentan un conjunto de datos y un marco de aprendizaje para predecir densamente, solo a partir de la visión, la transitabilidad utilizando datos de Perseverance. Al proyectar las huellas de las ruedas del rover sobre imágenes NavCam tomadas antes del desplazamiento, el método ordena de forma contrastiva las características visuales frente a la propiocepción y la respuesta de la suspensión, sin requerir anotaciones manuales.
Se entrena un decodificador denso sobre características generadas por un codificador DINOv2 mediante objetivos complementarios. Una pérdida Rank-N-Contrast estructura las características dentro de la región recorrida, mientras que una alineación multimodal bidireccional relaciona esas características con la respuesta mecánica del rover.
En el futuro, este trabajo podría permitir la adaptación en línea a nuevos terrenos o escalar el método hacia arquitecturas mayores, como un modelo de visión y lenguaje.
Agradecimientos
Esta investigación se llevó a cabo en el Jet Propulsion Laboratory (JPL), California Institute of Technology, mediante un contrato con la National Aeronautics and Space Administration. El trabajo recibió apoyo del programa Strategic Research and Technology Development (SRTD) del JPL.
Los recursos de computación de alto rendimiento utilizados en esta investigación fueron proporcionados gracias a la financiación de la división Enterprise IT del JPL. Los autores agradecen a Tyler Del Sesto y Richard Rieber sus esclarecedoras conversaciones sobre la plataforma de hardware y el algoritmo ENav, así como al Rover Operations Center (ROC) del JPL por su apoyo.
Preguntas frecuentes
¿Qué conjunto de datos presenta este trabajo? Presenta un conjunto de datos multimodal de conducción recopilado durante aproximadamente 500 soles de operaciones de movilidad en superficie de Perseverance.
¿Qué datos del rover supervisan el aprendizaje de la transitabilidad? La supervisión se deriva de las observaciones visuales, el movimiento del rover, la respuesta inercial, la configuración del vehículo, el deslizamiento percibido y la respuesta de la suspensión.
¿Qué modelo visual utiliza el sistema desplegado? El modelo utiliza un codificador DINOv2 ViT-L/14 congelado, un decodificador transformer aprendido y una cabeza de cuantiles MLP de dos capas.
¿Cómo se evalúa la representación aprendida de transitabilidad? Se integra con el planificador ENav y se prueba en navegación en lazo cerrado sobre un rover equivalente a los utilizados en la Tierra.