ZONDA: 다층 건물 내 제로샷 객체 탐색 및 동적 보행자 회피 (2026)

연구진은 여러 층에 걸쳐 작동하면서 움직이는 보행자를 능동적으로 피하는 제로샷 객체 탐색 프레임워크 ZONDA를 구축했습니다. 휴리스틱 플래너와 다중 뷰 검증을 통해 로봇별 학습이나 정적 환경 없이도 최첨단 성공률을 달성합니다.

연구진이 구축한 것

ZONDA는 사람이 이동하는 다층 건물에서 실내 로봇이 사용할 수 있도록 설계된 제로샷 객체 탐색 프레임워크입니다. 기존 방법과 달리 특정 로봇에 종속된 강화학습 정책이 필요하지 않아 재학습 없이 다양한 플랫폼에 적용할 수 있습니다. 시스템은 객체 인스턴스 맵, 대상 위치의 가능성을 나타내는 의미 히트맵, 계단과 경사로를 감지하는 높이 차이 기반 이동성 맵 등 세 가지 레이어로 구성된 맵을 유지합니다.

프레임워크는 세 가지 핵심 모듈로 구성됩니다. 첫째, 휴리스틱 다층 플래너는 근처의 미탐색 영역을 '블록'으로 그룹화하고 의미적 단서를 기반으로 점수를 매긴 후 최적의 블록을 선택하여 탐색하며, 계단 전환을 자율적으로 수행할 수 있습니다. 둘째, 다중 뷰 대상 검증 모듈은 비전-언어 모델(VLM)을 사용하여 후보 객체의 여러 뷰를 검토한 후 일치 여부를 확인함으로써 오탐지를 크게 줄입니다. 셋째, 동적 보행자 회피 파이프라인은 칼만 필터를 사용하여 움직이는 사람을 감지하고, 현재 및 예측 위치를 모두 장애물로 처리하여 실시간으로 점유 격자를 업데이트합니다.

주요 결과

연구팀은 HM3D, MP3D, 그리고 이동 보행자를 추가한 새로운 동적 벤치마크 HM3D-DYNA의 세 가지 벤치마크에서 ZONDA를 평가했습니다. HM3D에서 ZONDA는 성공률(SR) 66.5% 및 경로 길이 가중 성공률(SPL) 33.0% 를 기록하여 이전 최고 성능인 ASCENT보다 SR에서 5% 포인트, SPL에서 7% 포인트 이상 높았습니다. MP3D에서는 SR 48.2% 및 SPL 21.5% 를 달성하여 ASCENT를 다시 능가했습니다.

절제 연구를 통해 각 모듈의 기여도를 정량화했습니다:

변형	HM3D SR	HM3D SPL	MP3D SR	MP3D SPL
전체 ZONDA	66.5%	33.0%	48.2%	21.5%
휴리스틱 블록 제거	62.6%	26.8%	38.6%	13.4%
층간 이동 제거	57.8%	28.5%	44.2%	20.7%
다중 뷰 검증 제거	41.5%	23.4%	30.2%	11.6%

다중 뷰 검증 모듈만 제거했을 때 HM3D에서 SR이 25% 포인트나 하락했는데, 이는 조기 오탐지를 방지하는 데 이 모듈이 얼마나 중요한지 보여줍니다. 동적 보행자가 있는 HM3D-DYNA에서 ZONDA는 SR 62.1% 및 SPL 29.8% 를 유지한 반면, 보행자 회피 기능이 없는 기준 모델은 SR 38.5% 로 급락했습니다.

작동 방식

ZONDA는 RGB-D 입력으로부터 고정 격자 해상도로 구축된 세 가지 레이어 맵을 기반으로 작동합니다. 객체 인스턴스 맵은 점진적 신뢰도 점수와 함께 감지된 객체를 저장하고, 의미 히트맵은 이전 객체 공존 정보를 기반으로 대상을 찾을 가능성을 인코딩하며, 이동성 맵은 높이 차이를 이용해 표면과 계단을 식별합니다. 세 맵은 매 프레임마다 업데이트됩니다.

휴리스틱 다층 플래너는 DBSCAN 클러스터링을 사용하여 탐색되지 않은 프론티어를 공간적으로 연속된 블록으로 그룹화합니다. 각 블록은 의미적 관련성(히트맵 기반 블록에 대상이 있을 가능성)과 정보 획득량(새로 탐색될 면적)의 균형을 맞춘 휴리스틱으로 점수가 매겨집니다. 로봇은 점유 격자에서 A* 알고리즘을 사용하여 가장 높은 점수의 블록으로 이동합니다. 이동성 맵에서 계단이나 경사로가 감지되면 플래너는 로봇을 그 방향으로 조종하고 높이 기준점을 조정하여 층간 전환을 실행합니다.

로봇이 후보 대상 위치에 도달하면, 다중 뷰 대상 검증 모듈은 최근 관측치 버퍼에서 여러 스케일(근거리 및 원거리)의 최고 품질 뷰를 검색합니다. 이 이미지들은 배치로 VLM(예: GPT-4V)에 입력되어 맥락과 세부 정보를 종합적으로 추론합니다. 예를 들어, 작은 라디오가 근접 촬영에서는 TV처럼 보일 수 있지만, 넓은 장면에서 TV 크기의 물체가 없음을 VLM이 확인하면 오탐지가 배제됩니다.

동적 보행자는 RGB-D 프레임을 분할하고, 인스턴스 마스크 내부의 깊이 점을 3D로 역투영한 후, 등속 칼만 필터로 중심점을 추적하여 감지합니다. 데이터 연관에는 헝가리안 알고리즘이 사용됩니다. 현재 및 예측 위치(2초까지 외삽)는 0.50m만큼 확장되어 점유 격자에 투영됩니다. 플래너는 이러한 동적 장애물을 피하는 경유점을 선택하고, 저수준 MPPI 제어기가 실제 로봇 실행을 위한 부드러운 속도 명령을 출력합니다.

로봇공학에서의 중요성

대부분의 객체 탐색 시스템은 정적 단일 층 환경을 가정하지만, 이는 사무실, 병원, 창고와 같은 실제 환경에서는 비현실적인 제약입니다. ZONDA는 세 가지 실용적 문제를 한 번에 해결합니다: 훈련된 계단 이동 정책 없이 여러 층을 탐색할 수 있고, 로봇을 조기 정지시키는 오탐지를 방지하며, 사람 주변에서 안전하게 이동할 수 있습니다.

창고 운영자의 경우, 모바일 로봇이 비용이 많이 드는 현장 맞춤형 훈련 없이도 여러 층에 걸쳐 잘못 배치된 물품을 찾을 수 있습니다. 병원의 서비스 로봇의 경우, 직원과 방문객을 피하면서 자율적으로 물품을 배송할 수 있습니다. 제로샷 특성(로봇별 재학습 불필요)은 다양한 로봇으로 구성된 플릿에 특히 매력적입니다. 모듈식 아키텍처는 플래너와 검증 모듈을 바퀴 달린 로봇부터 이족 로봇까지 다양한 플랫폼에서 재사용할 수 있게 합니다.

기존 플릿을 업그레이드하는 경우 이러한 내비게이션 스택의 혜택을 받을 수 있는 창고 로봇을 살펴볼 수 있습니다. 이족 또는 휴머노이드 플랫폼의 경우 Robot Overflow에서 휴머노이드 로봇 살펴보기를 참조하세요.

한계 및 미해결 과제

ZONDA는 현재 다중 뷰 검증을 위해 강력한 VLM이 필요하므로 지연 시간과 계산 비용이 증가합니다. 논문에서는 RTX 5060 Ti를 장착한 오프보드 워크스테이션을 사용하여 실시간 성능을 보고했지만, 완전히 온보드에서 배포하려면 더 효율적인 모델이나 하드웨어 가속이 필요합니다. 동적 회피 파이프라인은 예측 가능한 보행자 움직임(등속)을 가정하므로 불규칙한 움직임이나 군중 상황에서는 실패할 수 있습니다. 또한, 계단 이동 전략은 높이 차이로부터 얻은 이동성 맵에 의존하므로, 명확한 높이 변화가 없는 가파르거나 좁은 계단에서는 어려움을 겪을 수 있습니다. 마지막으로, 시스템은 실내에서만 테스트되었으며, 실외 다층 탐색(예: 경사로, 고르지 않은 지형)은 아직 탐구되지 않았습니다.

자주 묻는 질문

ZONDA에서 '제로샷'이란 무엇을 의미하나요? ZONDA는 대상 환경에 대한 작업별 학습이나 미세 조정이 필요하지 않습니다. 인식을 위해 사전 훈련된 모델과 검증을 위해 VLM을 사용한 후 휴리스틱 계획을 적용하여 탐색합니다.

ZONDA는 층 사이의 계단을 어떻게 처리하나요? 이동성 맵은 계단이나 경사로에 해당하는 높이 불연속성을 감지합니다. 플래너는 이를 이동 가능한 셀로 처리하고 전환 중 로봇의 높이 기준점을 조정하여 학습된 계단 정책이 필요 없게 합니다.

ZONDA는 모든 로봇 플랫폼에서 작동하나요? 네. 저수준 제어기(이산 또는 연속)는 계획 모듈과 분리되어 있습니다. 플래너는 경유점을 출력하고, 호환되는 모든 로컬 플래너가 이를 실행할 수 있습니다. Direct Drive Tech TITA 이족 로봇에서 시연되었습니다.

ZONDA를 평가하는 데 사용된 벤치마크는 무엇인가요? 연구팀은 Habitat 기반 HM3D 및 MP3D 벤치마크와 이동 보행자를 추가한 새로운 HM3D-DYNA 변형에서 테스트했습니다. 결과는 세 가지 벤치마크 모두에서 기존 방법보다 일관된 개선을 보여줍니다.