OptiSight, 비전-언어 추론과 기하학적 로봇 내비게이션을 결합하다 (2026)

체화형 내비게이션을 위한 비전-언어 모델

대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 빠른 발전은 로봇이 자연어 지시를 바탕으로 복잡한 환경을 추론할 수 있게 함으로써 체화형 인공지능을 크게 발전시켰다. 이러한 모델은 기하학적 표현에만 의존하는 대신 의미론적 이해, 개방형 어휘 인식, 맥락 기반 추론을 제공해 에이전트가 기존 내비게이션의 범위를 넘어서는 작업도 수행할 수 있도록 한다.

최근의 파운데이션 모델은 점점 더 일반화된 체화 능력을 보여주고 있다. HabitatGS는 사실적인 가우시안 스플래팅 장면과 그 안에서 움직이는 사람을 추가해 AI Habitat을 확장함으로써, 체화형 추론을 위한 더욱 현실적인 벤치마크를 제공한다. EmbodiedFM과 같은 체화형 파운데이션 모델은 가정용 로봇, 드론, 자율주행 차량 등 여러 로봇 영역에 걸친 수백만 건의 내비게이션 시연 데이터로 학습되며, 다양한 내비게이션 작업에서 강력한 제로샷 일반화 성능을 보인다.

여러 연구에서는 추론 중심의 내비게이션도 탐구해 왔다. OctoNav는 행동에 앞서 사고하는 패러다임을 도입하고, 강화학습을 통해 지시-궤적 쌍으로 내비게이션 정책을 학습한다. NavR1은 그룹 상대 정책 최적화(Group Relative Policy Optimization)와 사고 연쇄(Chain-of-Thought) 감독을 결합해 대화, 계획, 추론, 내비게이션을 함께 학습한다. 이러한 방법은 명시적 추론이 체화형 의사결정을 향상한다는 점을 보여주지만, 대체로 방대한 학습 데이터와 높은 계산 비용을 요구하는 파운데이션 모델에 의존한다.

이러한 접근법과 달리 OptiSight는 종단 간 정책 학습이나 대규모 내비게이션 데이터셋을 필요로 하지 않는다. 대신 사전 학습된 VLM은 의미론적 인식과 고수준 추론에만 활용하고, 연속적인 움직임 생성은 결정론적 기하 제어에 맡긴다.

의미론 및 객체 목표 내비게이션

객체 목표 내비게이션은 체화형 AI의 핵심 벤치마크로 자리 잡았다. 이 과제에서 에이전트는 미리 정해진 좌표가 아니라 의미 범주로 지정된 객체를 찾아야 한다. OVON은 15,000개가 넘는 객체 인스턴스를 도입하고 의미 표현을 활용한 개방형 어휘 객체 내비게이션을 선보이며 이러한 설정을 크게 확장했다.

후속 연구는 메모리를 활용한 추론을 통해 내비게이션 효율을 높이는 데 집중했다. EfficientNav는 제로샷 LLM 계획, 의미 메모리 검색, 메모리 클러스터링을 결합해 반복적인 추론과 추론 지연 시간을 줄인다. HiRobot과 같은 계층적 추론 프레임워크는 복잡한 사용자 지시를 계층적 하위 목표로 분해하고, 사용자 피드백을 반영해 내비게이션 계획을 개선한다.

이러한 접근법은 의미 기반 내비게이션을 향상하지만, 실행 중 LLM 또는 VLM 추론을 반복적으로 수행하는 경우가 많아 계산 부담이 커진다. 반면 OptiSight는 중요한 의사결정 시점에만 의미 추론을 호출하고, 가벼운 시각 서보잉을 통해 연속적인 내비게이션을 유지함으로써 지연 시간을 크게 줄인다.

의미 기반 그라운딩과 사고 연쇄 추론

내비게이션 외에도 로봇 조작 분야에서 유사한 추론 패러다임이 연구되어 왔다. ALRM은 ReAct 방식의 추론을 실행 가능한 코드 생성 및 도구 기반 계획과 결합해 장기 조작 작업을 수행한다.

이러한 방법은 명시적 추론의 장점을 보여주지만, 많은 방법이 작업 수행 내내 대규모 VLM을 지속적으로 호출하므로 상당한 계산 비용과 추론 지연이 발생한다. 반면 OptiSight는 상태 기반 사고 연쇄 아키텍처를 채택한다. 유한 상태 머신 내에서 핵심 상태 전이가 발생할 때만 의미 추론을 호출하고, 연속적인 저수준 움직임은 결정론적 시각 서보잉으로 처리한다. 고수준 추론과 기하학적 제어를 분리함으로써 설명 가능한 내비게이션을 구현하는 동시에, 자원이 제한된 로봇 플랫폼에서도 실시간 성능을 유지할 수 있다.

방법론

OptiSight는 비전-언어 모델 추론, 개방형 어휘 객체 그라운딩, 기하학적 투영, 결정론적 움직임 제어를 통합한 폐루프 자율 내비게이션 프레임워크다. 현재 구현에서 시스템은 “방에서 나가.”라는 고수준 내비게이션 지시를 수행하도록 설계되었다. 이를 위해 프레임워크는 해당 지시를 의미 추론과 기하학적 내비게이션이 이어지는 일련의 단계로 분해한다.

Navigate 상태에서는 카메라가 아래쪽을 향한 자세를 유지하며 계획된 경로를 지속적으로 관찰하고, 비례 조향 명령이 로봇을 일련의 3D 웨이포인트를 따라 이동시킨다. 웨이포인트는 계획된 궤적에서 생성되며, 로봇이 현재 목표 웨이포인트의 지정된 거리 임계값 이내로 접근하면 순차적으로 제거된다. 이를 통해 궤적을 부드럽게 추적하고 안정적으로 움직일 수 있다. 의미론적 목표를 잃거나 계획된 경로가 유효하지 않게 되면 FSM은 Recover 상태로 전환된다. 이 상태에서는 VLM을 다시 호출해 내비게이션 목표를 재설정한 뒤 실행 파이프라인을 재개한다.

다음 하위 절에서는 유한 상태 머신의 각 상태에서 수행되는 작업과 제안 방법의 실제 구현을 설명한다.

유한 상태 머신

Find

목표가 감지되면 프레임워크는 Find 상태로 전환된다. 이 상태에서 Grounded-SAM은 개방형 어휘 위치 추정을 수행해 목표를 정확히 분할한다. 위치 추정의 안정성을 높이기 위해 최대 세 번의 연속 추론 패스로 분할 결과를 정제하고, 일관된 저노이즈 경계 영역을 생성한다. 그런 다음 기하학적 투영 모델을 이용해 이미지 좌표를 3D 카메라 기준 좌표계로 투영함으로써 내비게이션 목표의 공간적 위치를 산출한다. 투영에 성공하면 시스템은 Scan 상태로 진행한다.

이중 격리 시스템 아키텍처

OptiSight는 의미 추론과 기하학적 내비게이션을 서로 독립적인 두 실행 환경으로 분리하는 이중 격리 실행 아키텍처를 채택한다. 두 환경은 경량 소켓 기반 인터페이스로 통신하므로, 각 구성 요소가 자체 소프트웨어 스택에서 작동하면서도 내비게이션에 필요한 정보만 주고받을 수 있다.

첫 번째 환경은 Habitat-Sim과 함께 유한 상태 머신, 카메라 제어, 기하학적 투영, 경로 계획, 웨이포인트 생성, 움직임 제어를 포함한 기하학적 내비게이션 파이프라인을 실행한다. 두 번째 환경은 의미 추론과 개방형 어휘 객체 위치 추정을 담당하는 비전-언어 모델 및 Grounded-SAM 추론 파이프라인을 호스팅한다.

두 환경 간 통신은 비동기적으로 이루어진다. 의미 추론이 필요할 때마다 내비게이션 모듈은 현재 관측과 작업 프롬프트를 VLM 서버로 보내고, VLM 서버는 독립적으로 추론을 수행한 뒤 의미 예측 결과를 반환한다. VLM은 유한 상태 머신이 정의한 의미론적 의사결정 시점에만 호출되므로, 추론이 백그라운드에서 실행되는 동안에도 기하학적 내비게이션은 중단 없이 계속된다. 응답을 받으면 유한 상태 머신은 추론된 의미 정보를 이용해 실행을 재개한다.

이 아키텍처는 로보틱스 프레임워크와 VLM 프레임워크의 의존성을 격리하므로, 호환성 문제 없이 최신 멀티모달 모델과 기존 로보틱스 소프트웨어를 함께 사용할 수 있다. 또한 의미 추론과 기하 제어를 분리하면 자원 활용도가 향상되며, 전체 시스템을 NVIDIA Jetson과 같은 자원 제약형 엣지 플랫폼에 적합한 8GB VRAM 예산 안에서 실행할 수 있다.

실험

선정된 시나리오는 다음 여섯 가지 대표적인 내비게이션 난제에서 OptiSight의 강건성을 평가하도록 설계되었다.

단일 장애물 회피.
이중 장애물 추론.
구조적으로 유사한 객체 간 의미적 구분.
능동적 시각 탐색이 필요한 부분 관측성.
기하학적 왜곡을 유발하는 극단적 시점.
반사 표면으로 인해 발생하는 지각 모호성.

처음 세 유형의 시나리오는 주로 내비게이션과 의미 기반 그라운딩을 평가하며, 뒤의 세 유형은 VLM 기반 추론을 어렵게 만들 수 있는 인식 및 기하학적 모호성에 초점을 둔다. 따라서 이 시나리오 집합은 제안 프레임워크의 의미론적 요소와 기하학적 요소를 모두 다각도로 평가한다.

OptiSight는 다음 지표를 사용해 평가한다.

미션 성공: 내비게이션 목표를 성공적으로 완료했는지를 나타내는 이진 지표. 독립 실행의 절반 이상에서 미션을 완료하면 해당 시나리오를 성공으로 간주한다.
성공률: 실험 시행 중 성공한 실행의 비율.
실행 시간: 내비게이션 작업을 완료하는 데 걸린 시간(초).
총 이동 거리: 에이전트가 이동한 누적 거리(미터).
총 스텝 수: 실행 중 기록된 상태 전이, 동작, 이동 스텝의 총횟수.
충돌: 환경 내 장애물과 물리적으로 충돌한 횟수.
복구: 내비게이션 중 복구 또는 장애물 회피 절차가 발동한 횟수.
VLM 요청 수: 한 내비게이션 에피소드에서 수행된 VLM 추론 호출 횟수.
최소 장애물 거리: 내비게이션 중 에이전트와 감지된 3D 장애물 사이의 유클리드 거리 최솟값(미터).

이 지표들은 작업 수준의 성능과 시스템 내부 동작을 함께 보여준다. 성공률, 실행 시간, 이동 거리는 내비게이션 효율을 측정하고, 충돌 횟수와 최소 장애물 거리는 안전성을 정량화한다. VLM 요청 수, 파싱 실패, 복구 동작은 계산 및 운영 강건성을 평가하는 추가 지표로 활용된다.

결론

OptiSight는 선택적 비전-언어 모델 추론과 결정론적 기하 내비게이션을 결합한 하이브리드 자율 내비게이션 프레임워크다. 유한 상태 머신, Grounded-SAM 기반 목표 그라운딩, 시각-3D 기하학적 투영을 통합함으로써 OptiSight는 고수준 의미 지시를 실행 가능한 내비게이션 동작으로 변환한다. 동시에 지속적인 VLM 추론과 계산 비용이 큰 매핑 파이프라인은 사용하지 않는다.

AI Habitat의 24개 실내 내비게이션 시나리오에서 평가한 결과, OptiSight는 장애물 회피, 의미적 모호성, 부분 관측성, 까다로운 시점 등 다양한 내비게이션 조건을 성공적으로 처리하면서도 VLM 호출 횟수는 제한적으로 유지했다. 이러한 결과는 효율적인 체화형 내비게이션을 위해 의미 추론과 경량 기하 제어를 결합하는 방식의 가능성을 보여준다.

향후 연구에서는 더 폭넓은 내비게이션 작업으로 프레임워크를 확장하고, 실제 로봇 플랫폼에서 OptiSight를 검증할 예정이다.