La pose de la cámara de referencia de un rig, expresada en el sistema de coordenadas de la cámara de referencia del ancla, se estima en una sola pasada hacia delante. El ancla avanza con el flujo.
Trabajos relacionados
Odometría multicámara
Varias cámaras amplían el campo de visión y aportan redundancia cuando una de las vistas se degrada. El modelo de cámara generalizado trata un rig calibrado como un único dispositivo de captura de imágenes, lo que permite realizar odometría con poco o ningún solapamiento entre vistas y SLAM de fotogramas clave con distribuciones arbitrarias de cámaras. Estos sistemas recuperan el movimiento mediante optimización iterativa sobre residuos geométricos explícitos.
Los modelos de flujo continuo conservan el historial para entradas de una sola cámara, mientras que los modelos que tienen en cuenta el rig procesan conjuntamente vistas calibradas, sin estado temporal. Hasta donde sabemos, ningún trabajo anterior ha adaptado un modelo fundacional 3D multivista congelado a la odometría causal con rigs multicámara calibrados. StreamRig cubre esta brecha.
Método
StreamRig es un sistema de odometría causal en flujo continuo para rigs multicámara calibrados. Mantiene congelado un modelo fundacional 3D multivista como front-end de percepción y añade tres módulos ligeros que convierten la percepción por rig en un estado causal y extraen de él la odometría. Solo se entrenan estos módulos, cuya única supervisión son las poses relativas.
Inferencia en flujo continuo y reanclaje
En cada paso, la red troncal procesa una vez el nuevo rig, Rig-Resampler lo comprime y sus tokens etiquetados se incorporan a la ventana activa. Las claves y los valores de cada rig anterior se almacenan en caché en las ocho capas del puente. Una pasada del puente sobre el nuevo rig y la instantánea de su ancla, seguida de la cabeza de pose, devuelve la estimación de la pose relativa del rig actual con respecto al ancla.
Configuración experimental
Protocolo
Cada método se ejecuta de forma causal en cada secuencia completa, anclado a su primera pose, y compone su trayectoria a partir de sus propias predicciones. Salvo en el oráculo MA-AB, las poses de referencia solo se usan para la evaluación.
Cada método vuelve a anclarse en bloques de un número especificado de rigs o fotogramas muestreados. Así, la estimación de pose se forma como una cadena por pares y un tamaño de bloque mayor conserva un estado más prolongado.
Conclusión
Los resultados de StreamRig respaldan la percepción conjunta del rig y el historial temporal como fuentes complementarias de precisión odométrica. Rig-Resampler y CausalBridge hacen que esta combinación sea asequible, mientras que la relocalización grupal proporciona la inicialización de alineación que los datos limitados del rig por sí solos no ofrecen. El estudio del reanclaje muestra que las ventanas de entrenamiento más largas amplían el alcance útil del ancla. Un flujo continuo eficaz combina observaciones geométricas compactas con un intervalo de reanclaje adecuado.
Trabajo futuro
Los ensayos exploratorios en NCLT sugieren que los tokens comprimidos del rig podrían ser útiles para recuperar revisitas en la misma sesión, pero esta capacidad no se evalúa cuantitativamente aquí y los umbrales de aceptación aún requieren ajustes por sesión. El trabajo futuro desarrollará activadores de cierre de bucle transferibles e integrará las revisitas en el estado de flujo continuo. También refinará conjuntamente las poses y la geometría densa para que el mapa acumulado limite las estimaciones posteriores.
Preguntas frecuentes
¿Qué problema aborda StreamRig? Aborda la odometría causal para rigs multicámara calibrados al combinar la percepción del rig con el historial temporal.
¿Entrena StreamRig su modelo fundacional 3D multivista? No. El modelo fundacional permanece congelado y solo se entrenan los tres módulos ligeros añadidos.
¿Cómo procesa StreamRig cada nuevo rig? La red troncal lo procesa, Rig-Resampler lo comprime y sus tokens etiquetados se incorporan a la ventana activa. Las claves y los valores almacenados en caché proporcionan al puente el estado de los rigs anteriores.
¿Qué identifica el artículo como trabajo futuro? Propone desarrollar activadores de cierre de bucle transferibles, integrar las revisitas en el estado de flujo continuo y refinar conjuntamente las poses y la geometría densa.