Investigadores crearon OctoSense, una plataforma y conjunto de datos de código abierto que combina cámaras estéreo RGB, cámaras de eventos, LiDAR, cámara térmica, IMU, RTK-GPS y propiocepción del robot. Luego entrenaron un único modelo autosupervisado que fusiona todos estos sensores en una representación unificada. El resultado: un sistema de percepción que funciona en 6,68 milisegundos en una NVIDIA 5090 y supera a los modelos fundacionales basados solo en imágenes en flujo óptico, profundidad, segmentación semántica y estimación de movimiento propio, especialmente en condiciones nocturnas o con sensores degradados.
Tabla de contenidos
- Lo que construyeron los investigadores
- Resultados clave
- Cómo funciona
- Por qué esto es importante para la robótica
- Limitaciones y preguntas abiertas
- Preguntas frecuentes
- Conclusión
Lo que construyeron los investigadores
OctoSense es tanto un conjunto de sensores hardware como un conjunto de datos de 59 horas grabado conduciendo un coche y un robot cuadrúpedo en diversos entornos, horas del día y condiciones de sensor degradadas intencionadamente (por ejemplo, noche, polvo, lluvia). El conjunto de sensores incluye cámaras estéreo RGB, cámaras estéreo de eventos (que capturan cambios de brillo a nivel de píxel con resolución de microsegundos), un LiDAR de 32 haces, una cámara térmica, una unidad de medición inercial (IMU), un sistema de posicionamiento global cinemático en tiempo real (RTK-GPS) y datos de propiocepción del bus CAN del vehículo y los ángulos de las articulaciones del robot.
Sobre esta plataforma física, el equipo desarrolló un método de aprendizaje autosupervisado llamado autoencoder enmascarado de fusión tardía. En lugar de combinar los datos de los sensores al principio (fusión temprana) o procesar cada sensor de forma independiente y promediar las salidas (fusión tardía sin interacción), su arquitectura utiliza tokenizadores específicos para cada modalidad de sensor para manejar diferentes características espacio-temporales, luego aprende representaciones entre modalidades enmascarando tokens aleatoriamente y reconstruyéndolos. Durante la inferencia, el sistema almacena en caché los tokens de modalidad específica previamente calculados para poder integrar nuevas mediciones a medida que llegan sin reprocesar todo el historial.
El modelo entrenado produce una única incrustación — un vector de alta dimensión — que codifica toda la información de los sensores. Esta representación se puede usar para tareas posteriores como estimación de profundidad, flujo óptico, segmentación semántica y predicción de movimiento propio sin ajuste fino específico de la tarea.
Resultados clave
El modelo OctoSense logra tiempos de inferencia de 6,68 ms en una GPU NVIDIA RTX 5090 y 112 ms en una NVIDIA Jetson Orin NX, lo que lo hace adecuado para robótica en tiempo real. Los investigadores compararon su representación multimodal con modelos fundacionales basados solo en imágenes (por ejemplo, DINOv2, CLIP, MAE) en cuatro tareas:
- Flujo óptico: 12% menos error que el mejor modelo solo de imagen.
- Estimación de profundidad: 8% menos error relativo absoluto.
- Segmentación semántica: 5% más de intersección sobre unión media.
- Movimiento propio (traslación, rotación, ángulo de dirección): 15–20% menos error en todas las métricas.
La ventaja más notable aparece en condiciones degradadas: por la noche, la cámara térmica y las cámaras de eventos proporcionan información complementaria, y el modelo mantiene el 90% de su rendimiento diurno mientras que los modelos solo de imagen caen más del 40%. En escenarios con pérdidas simuladas de sensores (por ejemplo, fallo del LiDAR), el modelo aún produce representaciones utilizables apoyándose en las modalidades restantes.
No se publicaron puntos de referencia cuantitativos para la parte del robot cuadrúpedo del conjunto de datos, pero los resultados de las pruebas de conducción demuestran la contribución principal: que un único modelo autosupervisado puede fusionar eficazmente muchos tipos de sensores.
Cómo funciona
La arquitectura OctoSense es un autoencoder enmascarado de fusión tardía diseñado para manejar sensores con diferentes frecuencias, latencias, representaciones y niveles de ruido. El proceso de entrenamiento funciona de la siguiente manera:
- Tokenizadores específicos de modalidad: Cada tipo de sensor (RGB, eventos, LiDAR, térmico, IMU, GPS, propiocepción) pasa primero por una pequeña red neuronal que convierte sus datos brutos en una secuencia de tokens — vectores compactos que codifican la estructura espacial o temporal local. Estos tokenizadores se aprenden conjuntamente con el resto del modelo.
- Enmascaramiento aleatorio: Una gran fracción (normalmente 75–90%) de todos los tokens de todas las modalidades se enmascara aleatoriamente. El modelo debe predecir los tokens enmascarados basándose en los no enmascarados, lo que lo obliga a aprender correlaciones entre modalidades.
- Codificador Transformer: Los tokens no enmascarados se introducen en un codificador estilo Vision Transformer que los procesa juntos. Debido a que el modelo ve tokens de diferentes sensores en la misma secuencia, aprende relaciones como "cuando RGB está oscuro, los picos térmicos y los puntos LiDAR se vuelven más informativos".
- Decodificador: Un decodificador Transformer ligero reconstruye los tokens enmascarados a partir de la salida del codificador.
Durante la inferencia, el modelo no necesita reconstruir — simplemente ejecuta el codificador en cualquier dato de sensor disponible para producir la incrustación. Un truco práctico clave: el sistema almacena en caché los tokens de todos los sensores para el paso de tiempo anterior. Cuando llega una nueva medición de sensor (por ejemplo, un escaneo LiDAR a 10 Hz mientras RGB funciona a 30 Hz), los tokens almacenados en caché para las modalidades más lentas se reutilizan mientras que la nueva medición se tokeniza y combina. Esto evita reprocesar todo el historial.
Todo el modelo se entrena en el conjunto de datos OctoSense (59 horas) con autosupervisión — no se requieren anotaciones humanas más allá de la sincronización temporal automatizada de los sensores.
Por qué esto es importante para la robótica
La mayoría de los robots del mundo real — desde coches autónomos hasta robots con patas — operan en entornos donde cualquier sensor individual puede fallar o degradarse. OctoSense demuestra que el aprendizaje autosupervisado puede fusionar muchos sensores en una representación robusta sin costosos etiquetados. Esto es crítico para:
- Conducción autónoma: La noche y el clima adverso reducen el rendimiento de la cámara RGB, pero la térmica y el LiDAR pueden compensar. Un único modelo que maneje todos los sensores simplifica el stack de percepción.
- Navegación de cuadrúpedos: Los robots con patas experimentan vibraciones y ángulos de terreno variables que degradan la IMU y el GPS; las cámaras de eventos y la visión térmica ayudan a mantener la estimación de estado.
- Despliegue en hardware edge: La inferencia de 112 ms en Jetson Orin NX significa que el enfoque puede ejecutarse en sistemas embebidos utilizados en muchos robots de campo.
Para gerentes de operaciones e ingenieros que evalúan plataformas robóticas, el conjunto de datos y el código de OctoSense (disponibles públicamente) proporcionan una línea base lista para usar para percepción multimodal. La capacidad de construir un conjunto de sensores personalizado y aplicar el mismo método autosupervisado podría reducir el tiempo de desarrollo para tareas de inspección, navegación autónoma y conciencia situacional.
Si está integrando percepción en un robot existente, considere explorar robots industriales usados en Robot Overflow para plataformas que puedan ser reequipadas con sensores multimodales, o robots de almacén que podrían beneficiarse de una percepción robusta para todo clima.
Limitaciones y preguntas abiertas
El modelo OctoSense actual se entrenó solo con datos de conducción y caminata de un cuadrúpedo en un único entorno predominantemente urbano. La generalización a dominios completamente diferentes — por ejemplo, robots submarinos o drones — sigue sin verificarse. Los tokenizadores se aprenden por modalidad pero no son flexibles para añadir nuevos tipos de sensor sin reentrenar. El conjunto de datos es grande (59 horas) pero no tan diverso como los conjuntos de datos de visión a escala de internet, lo que puede limitar la calidad de la representación para escenas raras.
Las preguntas abiertas incluyen: ¿qué tan bien se transfiere el modelo a robots con diferentes colocaciones o calibraciones de sensores? ¿Puede la estrategia de caché manejar sensores con tiempos muy irregulares (por ejemplo, flujos de eventos con granularidad de microsegundos)? ¿Y la representación de fusión tardía contiene suficiente detalle espacial para tareas como manipulación a nivel de píxel, que pueden requerir fusión temprana?
Preguntas frecuentes
¿Qué sensores soporta OctoSense? OctoSense incluye cámaras estéreo RGB, cámaras estéreo de eventos, LiDAR, una cámara térmica, IMU, GPS corregido por RTK y propiocepción del bus CAN o ángulos articulares — ocho modalidades de sensor en total.
¿Necesito comprar todos estos sensores para usar el modelo? No. El modelo entrenado puede funcionar con cualquier subconjunto de esos sensores durante la inferencia. El conjunto de datos de entrenamiento incluía los ocho, pero la arquitectura maneja elegantemente las modalidades faltantes mediante su estrategia de caché y enmascaramiento.
¿Qué tan rápido es el modelo OctoSense en hardware edge? Funciona en 112 ms en una NVIDIA Jetson Orin NX, lo suficientemente rápido para robótica en tiempo real (por debajo de 10 Hz para la mayoría de los bucles de percepción).
¿El conjunto de datos y el código de OctoSense están disponibles públicamente? Sí. La página del proyecto proporciona enlaces al conjunto de datos, código y videos complementarios para replicar los resultados.
Conclusión
OctoSense demuestra que un autoencoder enmascarado de fusión tardía autosupervisado puede combinar ocho sensores diversos en una única representación robusta que supera a los modelos fundacionales basados solo en imágenes en tareas centrales de percepción — especialmente en condiciones difíciles. Con datos disponibles públicamente y rendimiento en tiempo real en hardware edge, este trabajo ofrece un plano práctico para construir sistemas de percepción multimodal que no fallan cuando se pone el sol.