본 연구에서는 36개의 다층 HM3D 장면에서 추출한 927개의 3개 목표 에피소드로 구성된 HM3D-MFMON을 소개한다. 이 중 288개는 층간 이동이 반드시 필요한 에피소드이며, 다중 인스턴스 순차 내비게이션을 위한 사후 평가 프로토콜도 함께 제시한다.
LifelongCrossNav는 지지 구조를 고려한 3D 복셀 매핑, 지속형 비전-언어 메모리, 계단 인지 내비게이션, 과거 의미 정보 검색을 폐루프 시스템으로 통합한다.
실험 결과, LifelongCrossNav는 지속형 평면 의미 메모리를 사용하는 기준선보다 다중 객체 및 층간 내비게이션 성능이 향상되었다. 또한 History POI는 이후 객체 목표에 대한 경로 효율을 높였다.
과제 정의
하나의 에피소드 안에서 LifelongCrossNav는 3D 기하 맵, 계단 상태, 객체 목표와 무관한 비전-언어 복셀 특징을 여러 객체 목표에 걸쳐 유지한다. 새로운 객체 목표가 주어지면 해당 텍스트 임베딩과 질의 조건부 유사도 필드를 다시 계산하지만, 이전 객체 목표에 연결된 POI, 내비게이션 경로, 목표 검증 상태는 초기화한다.
지지 구조 인지 3D 복셀 매핑
LifelongCrossNav는 희소 3D 복셀 맵으로 환경을 표현한다. 평면 투영과 달리 이 표현은 높이 정보를 보존하고, 수직으로 겹쳐 있는 방, 복도, 계단참, 계단을 구분한다. 주행 가능성을 고려한 광선 캐스팅 방식에서 착안해, RGB-D 기하 정보와 수직 지지 관계, 계단 의미 정보를 결합하여 층간 이동이 가능한 실행 경로를 표현한다.
RGB-D 투영 및 희소 복셀화
유효한 깊이 픽셀은 카메라 좌표계로 역투영한 뒤 6자유도 카메라 자세를 이용해 월드 좌표계로 변환하고, 희소 복셀로 양자화한다. 깊이 광선의 끝점은 관측된 표면 정보를 제공하며, 광선 중간 지점은 자유 공간 정보를 제공한다. 관측된 복셀과 국소적으로 추론된 내비게이션 상태만 저장하므로, 탐색 영역이 넓어짐에 따라 맵을 점진적으로 확장할 수 있다.
지지 구조를 고려한 복셀 유형
내비게이션 맵은 관측된 공간을 네 가지 기능적 복셀 유형으로 추상화한다: Occupied, Traversable, Stair, Unsupported.
Occupied 복셀은 벽, 가구, 바닥, 그리고 아직 확인되지 않은 계단 후보 등 관측된 표면을 나타낸다. 각 광선에서 관측된 자유 공간 복셀에 대해 시스템은 국소 수직 범위 안에서 아래쪽을 탐색한다. 신뢰할 수 있는 지지가 있는 자유 공간은 Traversable로 분류하고, 관측된 지지가 없는 자유 공간은 Unsupported로 분류한다. Unsupported는 잠재적인 하향 전이를 나타내는 기하학적 근거가 된다.
Stair 복셀은 의미 정보와 기하 관측을 함께 사용해 확인된 계단 표면을 나타낸다. SegFormer-B2가 픽셀 수준의 계단 마스크를 추출하고, 깊이 정보와 카메라 자세를 이용해 이를 3D로 들어 올린다. 이후 국소 높이 변화, 계단 단차의 추세, 공간적 연속성, 지지 관계를 통해 검증한다. Stair 복셀은 시스템이 Stair Explore에 진입한 뒤에만 갱신되며, 이때 층과 층을 잇는 명시적 주행 가능 연결을 형성한다.
통합 내비게이션 정책
통합 정책은 Basic Frontiers, Stair Frontiers, History POI, Live POI에서 내비게이션 목표를 선택한다. 이 후보들은 Basic Explore, Stair Explore, POI Navigation의 세 가지 내비게이션 모드를 지원한다.
후보 내비게이션 지점
Basic Frontiers는 일반 탐색 중 사용하는 세 가지 평면 후보 유형을 의미한다.
- Traversable Frontiers는 Traversable 복셀과 미지 공간의 경계에 형성된다.
- Descend Frontiers는 Traversable 복셀과 Unsupported 복셀의 경계 부근에서 추출되며, 잠재적인 하향 전이를 나타낸다.
- Ascent Frontiers는 계단 의미 정보, RGB-D 계단 기하, 여러 프레임에 걸친 일관성으로 생성된다. 내비게이션 위치는 현재 탐색 평면에 유지되며, 잠재적인 상승 입구 근처에 놓인다.
Stair Frontiers는 현재 확인된 계단 복셀 군집에서 추출한 방향 인지형 전진 경계다. 관측된 계단에 따라 높이가 변하므로, 에이전트는 계단 구조 안에서 위나 아래로 계속 탐색할 수 있다.
계층적 모드 전환과 3D 계획
신뢰할 수 있는 현재 목표의 증거와 도달 가능한 POI를 미탐색 기하 후보보다 우선한다. 유효한 의미 후보가 없으면 Basic Explore는 먼저 현재 층의 Traversable Frontiers를 방문한다. Descend 및 Ascent Frontiers는 도달 가능한 일반 프런티어가 모두 소진된 뒤에만 고려한다.
계단 입구가 확인되면 정책은 Stair Explore를 활성화하고 새로운 계단참에 도달할 때까지 Stair Frontiers를 따른다. 활성 계단 세션은 일반 프런티어나 관련 없는 의미 후보 때문에 계단 통과가 중단되지 않도록 제어권을 유지한다.
모든 모드는 공통 3D A* 플래너를 사용하지만, 허용되는 복셀 유형과 그래프 연결성은 서로 다르다. Basic Explore는 현재 주행 가능 영역에서 엄격한 26-이웃 그래프를 사용한다. POI Navigation은 선택된 POI가 다른 층에 있을 때 일반 그래프에 이미 구축된 계단 연결을 추가해 사용한다. Stair Explore는 확인된 Stair 복셀을 허용하고, 희소한 복셀 맵에서 서로 떨어져 관측될 수 있는 계단 정보를 연결하기 위해 고정된 물리적 반경 안에서 도착점 이웃을 확장한다.
최종 목표 객체 접근 및 검증
안정적인 목표 객체 증거를 얻으면 검출 마스크를 3D로 투영하고, 가까우면서 안전한 관측 위치를 선택한다. 접근하는 동안 시스템은 검출 결과를 갱신하고 검출 신뢰도, 마스크 품질, 가시성, 시선 방향, 3D 거리로 목표 객체를 검증한다.
History POI나 Live POI에 도달했다고 해서 하위 과제가 자동으로 완료되는 것은 아니다. 현재 목표 객체에 대한 관측이 검증 기준을 통과해야 한다. 검증이 성공하면 다음 객체 목표를 활성화하되, 기하 맵, 계단 구조, 목표와 무관한 의미 메모리는 유지한다. 검증에 실패하면 후보 선택 단계로 돌아가 탐색을 계속한다.
HM3D-MFMON 벤치마크
HM3D v0.2와 그 의미 주석을 이용해 HM3D-MFMON을 구축했다. HM3D는 현실적인 다층 구조와 주행 가능한 계단 연결을 갖춘 의미 주석 실내 장면을 제공하며, 기존 Habitat ObjectNav 프로토콜과도 호환된다.
MultiON의 순차 과제 정의에 따라 각 에피소드는 순차적으로 제시되는 세 개의 객체 목표로 구성된다. 에이전트는 현재 객체 목표만 받고, 현재 객체 목표 하위 과제를 성공적으로 완료한 뒤 다음 목표를 전달받는다.
HM3D-MFMON에는 다음 여섯 가지 목표 객체 범주가 포함된다.
- Chair
- Bed
- Toilet
- Plant
- Sofa
- TV monitor
현재 목표 객체 범주에 속하는 모든 유효한 인스턴스를 유지하며, 성공 기준을 만족하는 어떤 인스턴스에 도달해도 해당 하위 과제가 완료된다.
유효한 다층 구조와 계단 연결을 갖춘 36개 HM3D 장면을 선정하고 927개의 3개 목표 에피소드를 생성했다. 목표 인스턴스 분포와 주행 가능 연결성을 검증하여, 적어도 한 번의 층 이동 없이는 전체 객체 목표 순서를 완료할 수 없는 288개 에피소드의 Cross-Floor-Required(CFR) 하위 집합을 식별했다.
기준선 및 평가 설정
다중 객체 내비게이션
순차 다중 객체 내비게이션에서는 연속된 객체 목표 사이에서 재사용할 수 있는 지속형 오픈 어휘 2D 의미 맵을 유지하므로 OneMap을 주요 기준선으로 삼았다. OneMap과 LifelongCrossNav는 앞서 설명한 동일한 과제 및 평가 설정에서 평가했다.
과거 의미 정보 검색의 효과를 분리해 확인하기 위해 w/o H-POI라는 변형도 평가했다. 이 변형은 History POI 생성만 비활성화하고, 지지 구조 인지 3D 복셀 맵, 누적된 비전-언어 특징, 모든 층간 내비게이션 구성 요소는 유지한다.
결론
LifelongCrossNav는 알려지지 않은 다층 환경에서 순차 다중 객체 ObjectNav를 수행하기 위해 제안되었다. LifelongCrossNav는 지지 구조 인지 3D 복셀 매핑, 객체 목표 사이에서 유지되는 비전-언어 의미 메모리, 평면 탐색과 계단 내비게이션을 위한 통합 정책을 결합한다. 이를 통해 에이전트는 수직 구조, 층간 연결성, 과거의 의미 관측을 함께 활용할 수 있다.
또한 HM3D-MFMON 벤치마크와 각 객체 목표 하위 과제의 실제 시작 상태를 기반으로 한 사후 단계별 평가 프로토콜을 제시했다. 실험 결과 LifelongCrossNav는 전체 다중 객체 벤치마크와 Cross-Floor-Required 하위 집합 모두에서 평면 기반 지속형 의미 매핑 기준선을 일관되게 능가했다. 절제 실험에서는 History POI가 반복 탐색을 줄이고 이후 목표의 효율을 높이는 것으로 나타났다. 향후에는 실제 환경에서의 배치와 더욱 견고한 층간 내비게이션을 연구할 예정이다.
기술 보충 자료
이 보충 자료에서는 본문에서 생략한 설정, 복셀 상태 정의, 내비게이션 모드 세부 사항, 유형 인지 계획 규칙, 추가 단계별 평가 결과를 제공한다.
지지 구조 분류
따라서 TRAVERSABLE은 일반 표면 또는 되돌릴 수 있는 표면 위에 지지가 있는 자유 공간을 의미하며, TRAVERSABLE_STAIR는 확인된 계단 기하가 지지하는 자유 공간을 뜻한다.
반면 TRAVERSABLE_FAKE는 지지 탐색 깊이 안에서 유효한 지지를 찾지 못한 관측 자유 공간을 나타낸다. 그러므로 이는 지지가 없는 공중 상태가 아니라 되돌릴 수 있는 표면 상태인 FAKE_STAIR와 혼동해서는 안 된다.
계단 상태 승격
Basic Explore 중에는 SegFormer 마스크와 RGB-D 기하가 상승 또는 하강 증거를 생성할 수 있지만, 일반 OCCUPIED 복셀을 확인된 계단으로 즉시 다시 쓰지는 않는다. 해당 계단 입구에 도달해 검증한 뒤 컨트롤러는 StairSem 모드로 구현된 Stair Explore에 진입한다.
StairSem 안에서는 승인된 표면 복셀이 STAIR로 승격되고, 인접한 점유 셀은 STAIR_EXPANDED가 될 수 있으며, 거부된 증거는 FAKE_STAIR로 보존된다. 이후 지지 여부에 따라 공중 복셀의 상태를 국소적으로 재분류한다.
이처럼 승격을 지연하면 일반 탐색 중 수집된 불확실한 계단 관측이 층간 계획 그래프를 직접 변경하는 일을 막을 수 있다.
후보 우선순위
컨트롤러는 네 가지 주요 후보 클래스를 고려한다.
- Basic Frontiers
- Stair Frontiers
- History POI
- Live POI
기본 선택 우선순위는 컨트롤러의 후보 선택 정책에 따라 결정된다.
여기서 Basic Frontiers는 일반 탐색 중 사용하는 Traversable, Descend, Ascent Frontiers를 통칭한다.
- Traversable Frontier: 지지가 있는 TRAVERSABLE 복셀과 실제 미지 공간 사이의 경계
- Descend Frontier: 지지가 있는 주행 가능 공간과 지지가 없거나 가짜 계단인 기하 사이의 경계
- Ascent Frontier: 위쪽 계단을 향한 의미-기하 기반 입구 후보
컨트롤러는 먼저 현재 층에서 도달 가능한 Traversable Frontiers를 탐색한다. 도달 가능한 일반 프런티어가 더 이상 없을 때에만 Descend와 Ascent Frontiers를 고려한다. 기본적으로 Descend를 상승보다 먼저 시도하지만, 가장 최근에 성공한 층 전이 방향에 따라 순서를 조정할 수 있다.
선택된 후보는 짧은 유예 기간 동안 유지되므로, 점진적인 맵 갱신 때문에 목표가 지나치게 자주 바뀌는 것을 막는다. 따라서 이 유지 기간은 추가 후보 클래스가 아니라 안정화 장치다. 유지 중인 후보는 유효하지 않거나 도달할 수 없게 되거나, 더 높은 우선순위의 POI로 대체될 때만 바뀐다.
일반 그래프
Basic Explore와 POI Navigation은 26-이웃 그래프를 사용한다. 휴리스틱은 현재 복셀에서 목표까지의 3D 유클리드 거리다.
휴리스틱은 현재 복셀과 목표 사이의 직선거리인 계량적 거리를 추정한다.
비용은 도착 복셀의 상태에 따라 결정된다.
도착 상태별 비용은 신뢰도가 낮거나 확장된 복셀 상태에 불이익을 주면서도 확인된 계단 기하에 대한 접근성은 유지한다.
이러한 패널티는 안정적으로 지지된 공중 공간을 우선하되, 확인된 계단 기하에 대한 접근성을 보존한다. FAKE_STAIR는 비용이 큰 대체 경로로만 사용할 수 있으며 내비게이션 종점으로는 절대 선택하지 않는다.
일반 계획은 확장되지 않은 복셀을 우선한다. 모드에서 확장된 주행 가능 종점을 명시적으로 허용할 경우 해당 전이 비용을 두 배로 곱한다. 에이전트가 이미 확장된 주행 가능 영역 안에 있다면, 그 영역을 빠져나가기 위해 플래너가 일시적으로 확장 상태를 유지할 수 있으며 이후 엄격한 계획으로 돌아간다.
StairSem 그래프
희소한 RGB-D 관측에서는 연속된 계단 표면 사이에 한 복셀보다 큰 간격이 생길 수 있다. 따라서 StairSem은 고정된 26-이웃 관계를 버리고, 물리적 반경 1.0m 안에 존재하는 모든 주행 가능 종점을 연결한다. 이 이웃 관계는 고정된 복셀 오프셋이 아니라 계량적 3D 공간에서 정의된다.
필요한 경우 확장된 TRAVERSABLE 및 TRAVERSABLE_STAIR 종점을 사용할 수 있지만, 확장된 STAIR, STAIR_EXPANDED, FAKE_STAIR 종점은 거부한다.
최종 Stair Frontier에 일시적으로 도달할 수 없으면 세션 내부의 중간 계단 목표를 수직 진행도가 높은 순서로 시도한다.
이 확장 그래프는 불완전한 계단 관측에 대응하기 위해 의도적으로 허용적이다. 각 간선의 저장된 종점은 검증하지만, 긴 간선의 모든 중간 샘플을 따라 연속적인 스윕 볼륨 충돌 검증을 수행한다고 주장하지는 않는다.
벤치마크 요약
HM3D-MFMON은 36개 다층 HM3D 장면에서 추출한 927개의 3개 목표 에피소드로 구성된다. 최종 Cross-Floor-Required(CFR) 하위 집합은 전체 객체 목표 순서를 완료하려면 적어도 한 번의 층 이동이 필요한 288개 에피소드로 구성된다.
첫 번째 필수 층 전이는 객체 목표 하위 과제의 첫 번째, 두 번째, 세 번째 단계에서 각각 102개, 101개, 85개 에피소드에 발생한다.
사후 단계별 최단 경로
에피소드 e의 단계 i에 대해 최단 경로 분모는 해당 궤적 구간의 실제 시작점에서 다시 계산한다.
분모는 구간의 실제 시작 상태에서 요청된 객체 범주에 속한 인스턴스의 유효한 관점까지 이어지는 최단 주행 가능 경로다.
유효한 관점에는 요청된 객체 범주에 속하는 모든 인스턴스의 주행 가능한 관점이 포함된다.
Sᵢ를 단계 성공 여부라 하고, Lᵢ를 실행된 궤적 길이라고 하자.
단계별 SPL은 단계 성공 여부와 유효한 최단 경로 및 실행된 궤적 길이의 비율을 결합한다.
이 사후 프로토콜은 에이전트가 미래의 객체 목표를 알 필요가 없도록 하며, 이전 목표가 실제로 완료된 위치를 알기 전에 이후 단계의 최단 경로를 고정하는 문제를 피한다.
History-POI 절제의 범위
w/o H-POI 변형은 History-POI의 생성과 선택만 비활성화한다. 지속형 SED 특징 맵, 누적 특징 융합, Live POI, 지지 구조 인지 복셀 매핑, 계단 인식, 층간 계획은 그대로 유지한다.
따라서 이 절제 실험은 전체 의미 메모리 표현을 제거하는 것이 아니라, 명시적인 과거 의미 정보 검색의 기여도를 측정한다.
Cross-Floor-Required 에피소드의 전체 결과
CFR 결과는 해결되지 않은 층 전이가 미치는 영향을 드러낸다. OneMap이 세 번째 객체 목표에 도달했다면, 앞선 두 목표는 이미 층 전이 없이 완료된 것이다.
자주 묻는 질문
LifelongCrossNav는 무엇을 위해 설계되었나요? 알려지지 않은 다층 환경에서 순차 다중 객체 내비게이션을 수행하면서 객체 목표 사이에 기하, 계단, 의미 정보를 유지하도록 설계되었다.
HM3D-MFMON 벤치마크에는 무엇이 포함되나요? 36개 다층 HM3D 장면에서 추출한 927개의 3개 목표 에피소드가 포함되며, 이 중 288개는 적어도 한 번의 층 전이가 필요하다.
LifelongCrossNav는 다층 환경을 어떻게 표현하나요? 점유 영역, 주행 가능 영역, 계단, 지지되지 않은 영역을 구분하는 희소 지지 구조 인지 3D 복셀 맵을 사용한다.
w/o H-POI 절제 실험은 무엇을 검증하나요? 지속형 의미 특징, Live POI, 계단 인식, 층간 계획은 유지한 채 History-POI 생성과 선택을 비활성화해 그 효과를 검증한다.