연구진이 스테레오 RGB, 이벤트 카메라, 라이다, 열화상, IMU, RTK-GPS, 로봇 고유수용감각(proprioception)을 결합한 오픈소스 플랫폼 및 데이터셋 OctoSense를 구축했습니다. 이후 단일 자기 지도 모델을 학습시켜 이 모든 센서를 통합 표현으로 융합했습니다. 그 결과, NVIDIA 5090에서 6.68ms 만에 동작하는 인지 시스템이 탄생했으며, 광학 흐름, 깊이, 의미론적 분할, 자기 움직임 추정 작업에서 이미지 기반 기초 모델보다 뛰어난 성능을 보였고, 특히 야간이나 센서 성능이 저하된 조건에서 두드러졌습니다.
목차
연구진이 구축한 것
OctoSense는 하드웨어 센서 모음이자 59시간 분량의 데이터셋입니다. 이 데이터는 자동차와 네 발 달린 로봇을 다양한 환경, 시간대, 그리고 의도적으로 센서 성능을 저하시킨 조건(야간, 먼지, 비 등)에서 주행하며 수집했습니다. 센서 모음에는 스테레오 RGB 카메라, 스테레오 이벤트 카메라(마이크로초 단위로 픽셀 밝기 변화를 포착), 32채널 라이다, 열화상 카메라, 관성 측정 장치(IMU), 실시간 운동학 GPS(RTK-GPS), 그리고 차량 CAN 버스와 로봇 관절 각도에서 얻은 고유수용감각 데이터가 포함됩니다.
이 물리적 플랫폼 위에 연구팀은 후기 융합 마스크 오토인코더라는 자기 지도 학습 방법을 개발했습니다. 이 방법은 원시 센서 데이터를 초기에 결합(조기 융합)하거나 각 센서를 독립적으로 처리한 후 출력을 평균 내는(상호 작용 없는 후기 융합) 방식 대신, 각 센서 양식에 대해 별도의 토크나이저를 사용하여 다양한 시공간적 특성을 처리합니다. 그런 다음 무작위로 토큰을 마스킹하고 재구성함으로써 교차 양식 표현을 학습합니다. 추론 시에는 이전에 계산된 양식별 토큰을 캐싱하여, 새 측정값이 도착할 때 전체 이력을 다시 처리하지 않고 통합할 수 있습니다.
학습된 모델은 모든 센서 정보를 인코딩하는 단일 임베딩(고차원 벡터)을 생성합니다. 이 표현은 작업별 미세 조정 없이 깊이 추정, 광학 흐름, 의미론적 분할, 자기 움직임 예측과 같은 하위 작업에 사용할 수 있습니다.
주요 결과
OctoSense 모델은 NVIDIA RTX 5090 GPU에서 6.68ms, NVIDIA Jetson Orin NX에서 112ms의 추론 시간을 달성하여 실시간 로봇 공학에 적합합니다. 연구진은 네 가지 작업에서 다중 양식 표현을 이미지 기반 기초 모델(DINOv2, CLIP, MAE 등)과 비교했습니다:
- 광학 흐름: 최고 이미지 기반 모델보다 오차 12% 감소.
- 깊이 추정: 절대 상대 오차 8% 감소.
- 의미론적 분할: 평균 교집합 대 합집합(mIoU) 5% 향상.
- 자기 움직임(병진, 회전, 조향각): 모든 지표에서 오차 15–20% 감소.
가장 눈에 띄는 장점은 성능 저하 조건에서 나타납니다. 야간에는 열화상 카메라와 이벤트 카메라가 상호 보완 정보를 제공하며, 모델은 주간 성능의 90%를 유지하는 반면 이미지 기반 모델은 40% 이상 하락합니다. 시뮬레이션된 센서 드롭아웃(예: 라이다 고장) 시나리오에서도 모델은 나머지 양식에 의존하여 유용한 표현을 생성할 수 있습니다.
네 발 달린 로봇 부분에 대한 정량적 벤치마크는 발표되지 않았지만, 주행 테스트 결과는 단일 자기 지도 모델이 다양한 센서 유형을 효과적으로 융합할 수 있다는 핵심 기여를 입증합니다.
작동 원리
OctoSense 아키텍처는 서로 다른 주파수, 지연 시간, 표현 방식, 노이즈 수준을 가진 센서를 처리하도록 설계된 후기 융합 마스크 오토인코더입니다. 학습 과정은 다음과 같습니다:
- 양식별 토크나이저: 각 센서 유형(RGB, 이벤트, 라이다, 열화상, IMU, GPS, 고유수용감각)은 먼저 작은 신경망을 통과하여 원시 데이터를 일련의 토큰(로컬 공간 또는 시간 구조를 인코딩하는 컴팩트 벡터)으로 변환합니다. 이 토크나이저는 모델의 나머지 부분과 함께 학습됩니다.
- 무작위 마스킹: 모든 양식의 토큰 중 큰 비율(보통 75–90%)을 무작위로 마스킹합니다. 모델은 마스킹되지 않은 토큰을 기반으로 마스킹된 토큰을 예측해야 하며, 이를 통해 교차 양식 상관 관계를 학습합니다.
- 트랜스포머 인코더: 마스킹되지 않은 토큰은 Vision Transformer 스타일의 인코더에 함께 입력됩니다. 모델이 동일한 시퀀스에서 여러 센서의 토큰을 보기 때문에 "RGB가 어두울 때 열화상이 급증하고 라이다 포인트가 더 유용해진다"와 같은 관계를 학습합니다.
- 디코더: 가벼운 트랜스포머 디코더가 인코더 출력에서 마스킹된 토큰을 재구성합니다.
추론 시 모델은 재구성할 필요 없이 사용 가능한 센서 데이터에 대해 인코더를 실행하여 임베딩을 생성하기만 하면 됩니다. 핵심 실용적 기법: 시스템은 이전 시간 단계의 모든 센서 토큰을 캐싱합니다. 새 센서 측정값이 도착하면(예: RGB가 30Hz로 동작하는 동안 라이다 스캔이 10Hz로 도착), 느린 양식의 캐시된 토큰을 재사용하고 새 측정값만 토큰화하여 결합합니다. 이렇게 하면 전체 이력을 다시 처리할 필요가 없습니다.
전체 모델은 OctoSense 데이터셋(59시간)으로 자기 지도 방식으로 학습되며, 센서의 자동 시간 동기화 외에는 사람이 주석을 달 필요가 없습니다.
로봇 공학에 중요한 이유
자율 주행 자동차에서 보행 로봇에 이르기까지 대부분의 실제 로봇은 단일 센서가 고장나거나 성능이 저하될 수 있는 환경에서 작동합니다. OctoSense는 자기 지도 학습이 값비싼 라벨링 없이 여러 센서를 하나의 강건한 표현으로 융합할 수 있음을 보여줍니다. 이는 다음과 같은 분야에 중요합니다:
- 자율 주행: 야간과 악천후는 RGB 카메라 성능을 저하시키지만, 열화상과 라이다가 보완할 수 있습니다. 모든 센서를 처리하는 단일 모델은 인지 스택을 단순화합니다.
- 보행 로봇 탐색: 다리가 있는 로봇은 진동과 다양한 지형 각도로 인해 IMU와 GPS 성능이 저하되며, 이벤트 카메라와 열화상이 상태 추정을 유지하는 데 도움을 줍니다.
- 엣지 하드웨어 배포: Jetson Orin NX에서 112ms 추론은 많은 현장 로봇에 사용되는 임베디드 시스템에서 실행 가능함을 의미합니다.
로봇 플랫폼을 평가하는 운영 관리자와 엔지니어에게 OctoSense 데이터셋과 코드(공개 제공)는 다중 양식 인지를 위한 즉시 사용 가능한 기준선을 제공합니다. 맞춤형 센서 모음을 구축하고 동일한 자기 지도 방법을 적용하면 검사, 자율 주행, 상황 인식 작업의 개발 시간을 단축할 수 있습니다.
기존 로봇에 인지를 통합하는 경우, 다중 양식 센서로 개조할 수 있는 중고 산업용 로봇이나 강건한 전천후 인지의 혜택을 받을 수 있는 창고 로봇을 살펴보세요.
한계와 열린 질문
현재 OctoSense 모델은 단일 도시 중심 환경의 주행 및 보행 데이터로만 학습되었습니다. 수중 로봇이나 드론과 같은 완전히 다른 도메인으로의 일반화는 아직 검증되지 않았습니다. 토크나이저는 양식별로 학습되지만, 새로운 센서 유형을 추가하려면 재학습이 필요합니다. 데이터셋은 크지만(59시간), 인터넷 스케일의 비전 데이터셋만큼 다양하지 않아 드문 장면에 대한 표현 품질이 제한될 수 있습니다.
열린 질문으로는: 다른 센서 배치나 캘리브레이션을 가진 로봇에 모델이 얼마나 잘 전이되는가? 캐싱 전략이 매우 불규칙한 타이밍(예: 마이크로초 단위의 이벤트 스트림)의 센서를 처리할 수 있는가? 후기 융합 표현이 조기 융합이 필요할 수 있는 픽셀 수준 조작 작업에 충분한 공간적 세부 정보를 포함하는가? 등이 있습니다.
자주 묻는 질문
OctoSense는 어떤 센서를 지원하나요? OctoSense에는 스테레오 RGB 카메라, 스테레오 이벤트 카메라, 라이다, 열화상 카메라, IMU, RTK 보정 GPS, CAN 버스 또는 관절 각도에서 얻은 고유수용감각 등 총 8개의 센서 양식이 포함됩니다.
모델을 사용하려면 모든 센서를 구매해야 하나요? 아니요. 학습된 모델은 추론 시 해당 센서의 하위 집합과도 작동할 수 있습니다. 학습 데이터셋에는 8가지 모두 포함되었지만, 아키텍처는 캐싱 및 마스킹 전략을 통해 누락된 양식을 우아하게 처리합니다.
엣지 하드웨어에서 OctoSense 모델의 속도는 얼마나 되나요? NVIDIA Jetson Orin NX에서 112ms로 실행되며, 이는 실시간 로봇 공학(대부분의 인지 루프에서 10Hz 미만)에 충분히 빠릅니다.
OctoSense 데이터셋과 코드는 공개되어 있나요? 네. 프로젝트 페이지에서 데이터셋, 코드, 보충 비디오에 대한 링크를 제공하여 결과를 재현할 수 있습니다.
결론
OctoSense는 자기 지도 후기 융합 마스크 오토인코더가 8개의 다양한 센서를 단일의 강건한 표현으로 결합할 수 있으며, 특히 까다로운 조건에서 이미지 기반 기초 모델보다 핵심 인지 작업에서 더 나은 성능을 발휘함을 입증했습니다. 공개 데이터와 엣지 하드웨어에서의 실시간 성능을 통해, 이 연구는 해가 지면 무너지지 않는 다중 양식 인지 시스템을 구축하기 위한 실용적인 청사진을 제공합니다.