Presentamos HM3D-MFMON, compuesto por 927 episodios de tres objetivos procedentes de 36 escenas HM3D de varias plantas, incluidos 288 episodios Cross-Floor-Required, junto con un protocolo de evaluación post hoc para la navegación secuencial multiinstancia.
LifelongCrossNav integra en un sistema de ciclo cerrado el mapeo de vóxeles 3D consciente del soporte, la memoria persistente visión-lenguaje, la navegación consciente de las escaleras y la recuperación semántica basada en el historial.
Los experimentos demuestran una mejora en la navegación multiobjeto y entre plantas frente a una línea base de memoria semántica persistente y plana, mientras que los History POIs mejoran la eficiencia de la trayectoria hacia objetivos de objetos posteriores.
Formulación de la tarea
Durante un episodio, LifelongCrossNav conserva el mapa geométrico 3D, los estados de las escaleras y las características visión-lenguaje de los vóxeles, independientes del objetivo, entre los distintos objetivos de objetos. Cuando se emite un nuevo objetivo, se recalculan su embedding textual y su campo de similitud condicionado por la consulta, mientras que se reinicializan los POI, la trayectoria de navegación y los estados de verificación asociados al objetivo anterior.
Mapeo de vóxeles 3D consciente del soporte
LifelongCrossNav representa el entorno mediante un mapa disperso de vóxeles 3D. A diferencia de la proyección plana, esta representación conserva la altura y distingue habitaciones, pasillos, rellanos y escaleras superpuestos verticalmente. Inspirado en métodos de trazado de rayos conscientes de la transitabilidad, el mapa combina la geometría RGB-D, las relaciones de soporte vertical y las evidencias semánticas de escaleras para representar conexiones transitables entre plantas.
Proyección RGB-D y voxelización dispersa
Los píxeles de profundidad válidos se reproyectan en el sistema de coordenadas de la cámara, se transforman al sistema del mundo mediante la pose de la cámara con 6 grados de libertad y se cuantifican en vóxeles dispersos. Los extremos de los rayos de profundidad aportan evidencias de superficies observadas, mientras que las posiciones intermedias de los rayos aportan evidencias de espacio libre. Solo se almacenan los vóxeles observados y los estados de navegación inferidos localmente, lo que permite que el mapa crezca de forma incremental junto con el espacio explorado.
Tipos de vóxel conscientes del soporte
El mapa de navegación abstrae el espacio observado en cuatro tipos funcionales de vóxel: Occupied, Traversable, Stair y Unsupported.
Los vóxeles Occupied representan superficies observadas, como paredes, muebles, suelos y posibles escaleras que aún no han sido confirmadas. Para cada vóxel de espacio libre observado por un rayo, el sistema busca soporte hacia abajo dentro de un intervalo vertical local. El espacio libre con soporte fiable se clasifica como Traversable, mientras que el espacio libre sin soporte observado se clasifica como Unsupported y proporciona evidencia geométrica de posibles transiciones descendentes.
Los vóxeles Stair representan superficies de escaleras confirmadas conjuntamente mediante observaciones semánticas y geométricas. SegFormer-B2 extrae una máscara de escaleras a nivel de píxel, que se eleva a 3D usando la profundidad y la pose de la cámara, y se verifica mediante la variación local de altura, las tendencias de los escalones, la continuidad espacial y las relaciones de soporte. Los vóxeles Stair solo se actualizan después de que el sistema entra en Stair Explore, donde forman una conexión transitable explícita entre plantas.
Política de navegación unificada
La política unificada selecciona objetivos de navegación entre Basic Frontiers, Stair Frontiers, History POIs y Live POIs. Estos candidatos corresponden a tres modos de navegación: Basic Explore, Stair Explore y POI Navigation.
Puntos de navegación candidatos
Basic Frontiers designa los tres tipos de candidatos planos utilizados durante la exploración ordinaria:
- Traversable Frontiers se forman en los límites entre vóxeles Traversable y espacio desconocido.
- Descend Frontiers se extraen cerca de los límites entre vóxeles Traversable y Unsupported, e indican posibles transiciones descendentes.
- Ascent Frontiers se generan a partir de evidencias semánticas de escaleras, geometría de los escalones RGB-D y consistencia entre varios fotogramas. Sus posiciones de navegación permanecen en el plano de exploración actual, cerca de una posible entrada ascendente.
Stair Frontiers son fronteras direccionales de avance extraídas del conjunto de vóxeles Stair confirmado en ese momento. Su altura cambia con las escaleras observadas, lo que permite al agente continuar explorando hacia arriba o hacia abajo dentro de la estructura de la escalera.
Cambio jerárquico de modo y planificación 3D
Las evidencias fiables del objetivo actual y los POI alcanzables tienen prioridad sobre los candidatos geométricos sin explorar. Cuando no hay ningún candidato semántico válido, Basic Explore visita primero los Traversable Frontiers de la planta actual. Descend Frontiers y Ascent Frontiers solo se consideran cuando ya no queda ninguna frontera ordinaria alcanzable.
Una vez verificada una entrada de escalera, la política activa Stair Explore y sigue los Stair Frontiers hasta alcanzar un nuevo rellano. Una sesión activa de escaleras conserva el control para que el tránsito por las escaleras no sea interrumpido por fronteras ordinarias ni por candidatos semánticos no relacionados.
Todos los modos utilizan un planificador A* 3D común, pero difieren en los tipos de vóxel admisibles y en la conectividad del grafo. Basic Explore emplea un grafo estricto de 26 vecinos sobre la región transitable actual. POI Navigation utiliza el grafo habitual junto con la conectividad de escaleras establecida previamente cuando el POI seleccionado está en otra planta. Stair Explore admite vóxeles Stair confirmados y amplía el vecindario del extremo dentro de un radio físico fijo para conectar observaciones de escaleras que pueden ser dispersas en el mapa de vóxeles.
Aproximación y verificación final del objeto objetivo
Una vez obtenida evidencia estable del objeto objetivo, la máscara detectada se proyecta en 3D y se selecciona una posición de observación segura cercana. Durante la aproximación, el sistema actualiza la detección y verifica el objeto objetivo usando la confianza de detección, la calidad de la máscara, la visibilidad, la dirección de observación y la distancia 3D.
Llegar a un History POI o a un Live POI no completa por sí mismo la subtarea; la observación actual del objeto objetivo aún debe superar los criterios de verificación. Tras una verificación correcta, se activa el siguiente objetivo de objeto, conservando el mapa geométrico, la estructura de escaleras y la memoria semántica independiente del objetivo. Si la verificación falla, el sistema vuelve a seleccionar candidatos y continúa la exploración.
Benchmark HM3D-MFMON
Construimos HM3D-MFMON a partir de HM3D v0.2 y sus anotaciones semánticas. HM3D ofrece escenas interiores anotadas semánticamente, con configuraciones realistas de varias plantas y conexiones transitables mediante escaleras, y sigue siendo compatible con los protocolos establecidos de Habitat ObjectNav.
Siguiendo la formulación secuencial de MultiON, cada episodio contiene tres objetivos de objetos emitidos de forma secuencial. El agente recibe únicamente el objetivo actual y conoce el siguiente después de completar correctamente la subtarea correspondiente al objetivo actual.
HM3D-MFMON incluye seis categorías de objetos objetivo:
- Chair
- Bed
- Toilet
- Plant
- Sofa
- TV monitor
Se conservan todas las instancias válidas de la categoría del objeto objetivo actual, y alcanzar cualquier instancia que cumpla el criterio de éxito completa la subtarea correspondiente.
Seleccionamos 36 escenas HM3D con estructuras válidas de varias plantas y conectividad mediante escaleras, y generamos 927 episodios de tres objetivos. Tras verificar la distribución de las instancias objetivo y la conectividad transitable, identificamos un subconjunto Cross-Floor-Required (CFR) de 288 episodios cuyas secuencias completas de objetivos no pueden completarse sin al menos una transición entre plantas.
Líneas base y configuraciones de evaluación
Navegación multiobjeto
Para la navegación secuencial multiobjeto, OneMap sirve como línea base principal porque mantiene un mapa semántico 2D persistente de vocabulario abierto que puede reutilizarse entre objetivos sucesivos. OneMap y LifelongCrossNav se evalúan con la misma tarea y bajo las configuraciones de evaluación descritas anteriormente.
Para aislar el efecto de la recuperación semántica histórica, evaluamos además una variante denominada w/o H-POI. Esta variante desactiva únicamente la generación de History POI, manteniendo el mapa de vóxeles 3D consciente del soporte, las características visión-lenguaje acumuladas y todos los componentes de navegación entre plantas.
Conclusión
Presentamos LifelongCrossNav para la navegación secuencial multiobjeto ObjectNav en entornos desconocidos de varias plantas. LifelongCrossNav combina el mapeo de vóxeles 3D consciente del soporte, la memoria semántica visión-lenguaje persistente entre objetivos de objetos y una política unificada para la exploración plana y la navegación por escaleras. De este modo, el agente puede aprovechar conjuntamente la estructura vertical, la conectividad entre plantas y las observaciones semánticas históricas.
También presentamos el benchmark HM3D-MFMON y un protocolo de evaluación post hoc por etapas basado en el estado inicial real de cada subtarea de objetivo. Los resultados experimentales muestran que LifelongCrossNav supera sistemáticamente a la línea base de mapeo semántico plano persistente tanto en el benchmark multiobjeto completo como en el subconjunto Cross-Floor-Required. Los resultados de ablación muestran que los History POIs reducen la exploración repetida y mejoran la eficiencia hacia objetivos posteriores. Como trabajo futuro, estudiaremos el despliegue en el mundo real y una navegación entre plantas más robusta.
Suplemento técnico
Este suplemento presenta la configuración, las definiciones de los estados de los vóxeles, los detalles de los modos de navegación, las reglas de planificación sensibles al tipo y resultados adicionales de evaluación por etapas omitidos en el artículo principal.
Clasificación del soporte
En consecuencia, TRAVERSABLE representa espacio libre con soporte sobre una superficie ordinaria o reversible, mientras que TRAVERSABLE_STAIR denota espacio libre sustentado por una geometría de escaleras confirmada.
Por el contrario, TRAVERSABLE_FAKE indica espacio libre observado para el que no se encuentra ningún soporte válido dentro de la profundidad de búsqueda de soporte. Por tanto, no debe confundirse con FAKE_STAIR, que es un estado de superficie reversible y no un estado de aire sin soporte.
Promoción del estado de las escaleras
Durante Basic Explore, las máscaras de SegFormer y la geometría RGB-D pueden generar evidencias de ascenso o descenso, pero los vóxeles ordinarios OCCUPIED no se reescriben inmediatamente como escaleras confirmadas. Después de alcanzar y verificar la entrada de escalera correspondiente, el controlador entra en Stair Explore, implementado como el modo StairSem.
Dentro de StairSem, los vóxeles de superficie aceptados se promueven a STAIR; las celdas ocupadas adyacentes pueden convertirse en STAIR_EXPANDED; y las evidencias rechazadas se conservan como FAKE_STAIR. A continuación, los vóxeles de aire cuyo estado depende del soporte se reclasifican localmente.
Esta promoción diferida evita que las observaciones inciertas de escaleras recogidas durante la exploración ordinaria modifiquen directamente el grafo de planificación entre plantas.
Prioridad de los candidatos
El controlador considera cuatro clases principales de candidatos:
- Basic Frontiers
- Stair Frontiers
- History POIs
- Live POIs
Su prioridad de selección predeterminada viene determinada por la política de selección de candidatos del controlador.
Aquí, Basic Frontiers se refiere colectivamente a Traversable, Descend y Ascent Frontiers, utilizados durante la exploración ordinaria:
- Traversable Frontier: límite entre vóxeles TRAVERSABLE con soporte y espacio verdaderamente desconocido.
- Descend Frontier: límite entre espacio transitable con soporte y geometría sin soporte o de tipo fake-stair.
- Ascent Frontier: propuesta de entrada ascendente basada en evidencias semánticas y geométricas.
El controlador explora primero los Traversable Frontiers alcanzables de la planta actual. Solo cuando ya no queda ninguna frontera ordinaria alcanzable considera Descend y Ascent Frontiers. Por defecto, intenta el descenso antes que el ascenso, aunque el orden puede adaptarse según la dirección de transición entre plantas que haya tenido éxito más recientemente.
Un candidato seleccionado se mantiene durante un breve periodo de gracia para que las actualizaciones incrementales del mapa no provoquen cambios frecuentes de objetivo. Por tanto, el compromiso funciona como mecanismo de estabilidad y no como una clase adicional de candidato. Un candidato comprometido solo se sustituye cuando deja de ser válido, resulta inalcanzable o es desplazado por un POI de mayor prioridad.
Grafo normal
Basic Explore y POI Navigation utilizan un grafo de 26 vecinos. La heurística es la distancia euclídea 3D desde el vóxel actual hasta el objetivo.
La heurística estima la distancia métrica en línea recta entre el vóxel actual y el objetivo.
El coste viene determinado por el estado del vóxel de destino.
Los costes asociados al estado de destino penalizan los estados de vóxel menos fiables o inflados, al tiempo que preservan el acceso a la geometría de escaleras confirmada.
Las penalizaciones favorecen el espacio de aire estable con soporte, pero mantienen el acceso a la geometría de escaleras confirmada. FAKE_STAIR sigue disponible únicamente como alternativa costosa y nunca se selecciona como extremo de navegación.
La planificación ordinaria prioriza los vóxeles no inflados. Cuando un modo permite explícitamente un extremo transitable inflado, su coste de transición se multiplica por dos. Si el agente ya se encuentra dentro de una región transitable inflada, el planificador puede conservar temporalmente estados inflados para permitirle salir de ella; después se reanuda la planificación estricta.
Grafo StairSem
Las observaciones RGB-D dispersas pueden dejar huecos de más de un vóxel entre superficies sucesivas de una escalera. Por ello, StairSem sustituye la relación fija de 26 vecinos por todos los extremos existentes y transitables dentro de una esfera física de 1,0 m. Este vecindario se define en el espacio 3D métrico y no mediante un desplazamiento fijo de vóxeles.
Los extremos TRAVERSABLE y TRAVERSABLE_STAIR inflados pueden utilizarse cuando sea necesario, mientras que se rechazan los extremos STAIR, STAIR_EXPANDED y FAKE_STAIR inflados.
Si la frontera final de la escalera no es alcanzable temporalmente, se prueban objetivos intermedios de escalera locales a la sesión, en orden descendente de progreso vertical.
El grafo ampliado es deliberadamente permisivo para las observaciones incompletas de escaleras. Verifica los extremos almacenados de cada arista, pero no afirma una certificación continua de colisión del volumen barrido a lo largo de cada muestra intermedia de una arista larga.
Resumen del benchmark
HM3D-MFMON contiene 927 episodios de tres objetivos procedentes de 36 escenas HM3D de varias plantas. El subconjunto final Cross-Floor-Required (CFR) contiene 288 episodios cuyas secuencias completas de objetivos requieren al menos una transición entre plantas.
La primera transición obligatoria ocurre durante la primera, segunda o tercera subtarea de objetivo en 102, 101 y 85 episodios, respectivamente.
Caminos más cortos post hoc por etapas
Para la etapa i del episodio e, el denominador del camino más corto se recalcula desde el inicio real de ese segmento de trayectoria.
El denominador es el camino transitable más corto desde el estado inicial real del segmento hasta cualquier punto de vista válido de una instancia de la categoría de objeto solicitada.
Los puntos de vista válidos incluyen los puntos de vista transitables de todas las instancias pertenecientes a la categoría de objeto solicitada.
Sea Sᵢ el éxito de la etapa y sea Lᵢ la longitud de la trayectoria ejecutada.
El SPL por etapas combina el éxito de la etapa con la razón entre el camino válido más corto y la longitud de la trayectoria ejecutada.
Este protocolo post hoc no exige que el agente conozca los objetivos futuros y evita fijar los caminos más cortos de las etapas posteriores antes de conocer la posición real en la que se completa el objetivo anterior.
Límite de la ablación History-POI
La variante w/o H-POI desactiva únicamente la generación y selección de History-POI. Conserva el mapa de características SED persistente, la fusión acumulativa de características, los Live POIs, el mapeo de vóxeles consciente del soporte, la percepción de escaleras y la planificación entre plantas.
Por tanto, la ablación mide la contribución de la recuperación semántica histórica explícita, en lugar de eliminar por completo la representación de memoria semántica.
Resultados globales en episodios Cross-Floor-Required
Los resultados CFR muestran el efecto de las transiciones entre plantas no resueltas. Si OneMap alcanza el tercer objetivo, sus dos primeros objetivos ya se han completado sin requerir una transición entre plantas.
Preguntas frecuentes
¿Para qué está diseñado LifelongCrossNav? Realiza navegación secuencial multiobjeto en entornos desconocidos de varias plantas, conservando la información geométrica, de escaleras y semántica entre los distintos objetivos.
¿Qué incluye el benchmark HM3D-MFMON? El benchmark contiene 927 episodios de tres objetivos procedentes de 36 escenas HM3D de varias plantas, incluidos 288 episodios que requieren al menos una transición entre plantas.
¿Cómo representa LifelongCrossNav los entornos de varias plantas? Utiliza un mapa disperso de vóxeles 3D consciente del soporte que distingue entre regiones ocupadas, transitables, de escaleras y sin soporte.
¿Qué evalúa la ablación w/o H-POI? Desactiva la generación y selección de History-POI, pero conserva las características semánticas persistentes, los Live POIs, la percepción de escaleras y la planificación entre plantas.