자율주행 차량과 이동 로봇은 주변 환경을 3차원 포인트 클라우드로 표현하기 위해 LiDAR 센서에 크게 의존한다. LiDAR 센서는 정확한 기하학적 정보를 제공하므로 인지 시스템이 복잡한 실외 환경을 이해할 수 있다. 이러한 인지 파이프라인에서 LiDAR 의미론적 분할은 3차원 포인트 클라우드의 각 포인트에 의미론적 라벨을 부여하는 핵심 역할을 한다. 이를 통해 시스템은 차량, 보행자, 도로, 건물 등 장면을 구성하는 주요 요소를 구분할 수 있다. 이러한 의미 이해는 객체 검출, 장면 해석, 의사결정과 같은 후속 작업에 필수적이며, 안전한 자율주행을 뒷받침한다.
서론
통합 평가 프로토콜은 자율주행 인지 시스템의 핵심 요구사항을 포괄하는 세 가지 상호보완적 축으로 구성된다.
Coarse-label 평가는 자율주행 안전 우선순위에 맞춰 의미론적 클래스를 묶은 라벨 체계에서 의미론적 분할 성능을 평가한다. 더 거친 분류 체계에 따른 결과를 보고하는 데 그치지 않고, 세분화된 라벨과 통합 라벨 모두에서 모델 성능을 분석해 벤치마크 결과가 주석의 세밀함에 얼마나 좌우되는지 파악한다. COLA 프레임워크는 자율주행과의 관련성을 기준으로 의미적으로 유사한 클래스를 묶은 안전 중심 분류 체계를 정의한다.
강건성 평가는 실제 센싱 성능 저하를 모사하도록 설계된 8가지 합성 LiDAR 손상 조건에서 모델 성능을 측정한다. 여기에는 안개, 비, 눈과 같은 대기 현상, 모션 블러와 빔 누락 같은 기하학적 교란, 그리고 크로스토크, 불완전 에코, 센서 간 차이와 같은 센서 유발 아티팩트가 포함된다. 손상 조건은 개별적으로도, 범주별로도 분석해 아키텍처별 강건성 특성을 체계적으로 비교한다. 또한 Jetson AGX Orin 임베디드 하드웨어에서의 추론 속도를 강건성 결과와 함께 보고해 강건성과 계산 효율 사이의 절충 관계를 정량화한다.
도메인 일반화 평가는 한 데이터셋에서 학습한 모델이 어떠한 적응도 없이 이전에 보지 못한 대상 도메인에서 작동할 수 있는지를 평가한다. 구체적으로 모델을 SemanticKITTI와 nuScenes에서 학습한 뒤, 별도의 적응 없이 ParisLuco3D에서 직접 평가한다. 이 설정은 지리적 환경, 데이터 취득 조건, 데이터셋 분포가 달라지는 상황에서의 일반화 성능을 측정한다. 소스 도메인과 대상 도메인의 성능을 비교해 도메인 간 성능 저하 정도를 정량화하고, 분포 변화에 대한 방법들의 강건성을 평가한다.
이 프로토콜을 사용해 포인트 기반, 투영 기반, 희소 합성곱 기반, 융합 기반 아키텍처를 아우르는 대표적인 최신 방법들을 평가한다. 공정한 비교를 위해 모든 모델은 동일한 학습 설정에서 처음부터 다시 학습한다. 그 결과는 현재 LiDAR 의미론적 분할 접근법의 강점과 한계를 종합적으로 보여주며, 의미 정확도, 강건성, 일반화 능력, 계산 효율 사이의 절충 관계를 드러낸다. 이러한 분석은 자율주행 애플리케이션에 적합한 모델을 보다 현실적으로 평가하는 데 기여한다.
LiDAR 의미론적 분할 평가 프로토콜
기존 LiDAR 의미론적 분할 평가는 대체로 개별 벤치마크의 표준 데이터 분할을 따랐으며, SemanticKITTI와 nuScenes가 주요 기준으로 사용되었다. 이러한 프로토콜은 세분화된 클래스 분류 체계와 손상되지 않은 포인트 클라우드 데이터를 이용해 분포 내 정확도를 측정하지만, 실제 배포 환경의 문제를 충분히 반영하지 못한다.
단일 성능 측면에 초점을 맞추는 경우가 많았던 기존 평가 프로토콜과 달리, 이 프로토콜은 의미적 일관성, 강건성, 도메인 일반화, 계산 효율을 하나의 통합 평가 프레임워크에 결합한다. 일관된 실험 조건에서 이 네 가지 측면을 평가함으로써 실제 자율주행 배포에 적합한 모델인지 보다 종합적으로 판단할 수 있다.
평가 프로토콜
구조화된 평가 프로토콜을 통해 LiDAR 의미론적 분할 모델의 배포 준비도를 평가한다. 프로토콜은 실제 자율주행과 관련된 조건에서 모델의 동작을 규정하는 세 가지 상호보완적 차원, 즉 안전 중심 라벨 의미 체계, 불리한 센싱 조건, 도메인 간 전이를 중심으로 구성된다. 또한 NVIDIA RTX 4090 GPU와 Jetson AGX Orin 임베디드 플랫폼에서의 추론 속도를 측정해 계산 효율을 평가한다. 공정한 비교를 위해 평가 대상 모델은 모두 동일한 학습 조건에서 처음부터 다시 학습한다.
안전성 평가를 위한 Coarse-label 평가
nuScenes와 SemanticKITTI 같은 표준 벤치마크는 각각 16개와 19개의 세분화된 클래스 분류 체계를 사용해 모델을 평가한다.
이러한 주석은 장면을 세밀하게 이해할 수 있도록 해주지만, 세분화된 라벨은 안전성과 운용 측면에서 충분히 타당한 예측까지 지나치게 엄격하게 평가할 수 있다. 특히 자동차와 트럭, 자전거 이용자와 오토바이 이용자처럼 기능적으로 유사한 클래스 간 혼동은 보고되는 mean intersection over union을 크게 낮출 수 있지만, 많은 자율주행 의사결정에는 영향이 제한적일 수 있다. 예를 들어 자동차를 트럭으로 잘못 분류하더라도 회피나 제동 동작은 대체로 비슷하게 이루어지지만, 기존의 세분화된 평가에서는 이를 완전한 오류로 계산한다.
이 한계를 해결하기 위해 COarse-LAbel 프레임워크는 자율주행에서의 기능적 역할에 따라 데이터셋별 의미론적 라벨을 묶는다. Coarse-label 성능을 보고하는 것뿐 아니라, 세분화된 분류 체계에서 통합 분류 체계로 전환될 때 모델 성능이 어떻게 달라지는지도 분석한다.
실제 환경의 LiDAR 손상 조건에서의 강건성
실제 배포 환경에서 LiDAR 센서는 다양한 조건에서 작동하며, 깨끗한 벤치마크에는 나타나지 않는 방식으로 포인트 클라우드 품질을 저하시킨다. 강건성을 체계적으로 평가하기 위해 Robo3D 벤치마크의 손상 데이터셋인 nuScenes-C와 SemanticKITTI-C를 사용한다. 모델은 깨끗한 데이터셋에서 학습한 뒤 미세 조정 없이 손상 버전에서 직접 평가하므로, 분포 밖 강건성을 측정할 수 있다.
Robo3D는 8가지 손상 유형을 의미적으로 연관된 세 그룹으로 나눈다.
- 대기: 레이저 전파에 영향을 미치는 환경 조건인 안개, 젖은 지면, 눈.
- 기하: 이동에 따른 역학과 빔 드롭아웃 효과를 나타내는 모션 블러, 빔 누락.
- 센서: 센서 내부 특성이나 하드웨어 차이를 반영하는 LiDAR 크로스토크, 불완전 에코, 센서 간 차이.
주요 강건성 지표로 평균 손상 오류(mean Corruption Error), 즉 mCE를 사용한다.
도메인 일반화
도메인 일반화는 학습 중 대상 도메인 데이터에 접근하거나 어떠한 적응을 수행하지 않고도, 모델이 이전에 보지 못한 환경에서 작동할 수 있는지를 평가한다. LiDAR 의미론적 분할에서는 센서 특성, 환경의 외관, 장면 구성의 변화에 강건해야 한다는 뜻이다.
모델은 단일 소스-단일 대상 프로토콜에 따라 평가한다. 즉, 소스 데이터셋에서 학습한 모델을 적응 없이 보지 못한 대상 데이터셋에서 직접 평가한다. 소스 데이터셋으로 nuScenes와 SemanticKITTI를 사용하고, 대상 데이터셋으로 ParisLuco3D를 사용한다. ParisLuco3D는 데이터셋 간 평가를 위해 특별히 설계되었으며, 지리적 환경, 데이터 취득 조건, 장면 구성에서 두 학습 데이터셋과 차이를 보인다.
평가는 각 소스 데이터셋의 고유한 세분화 라벨 체계를 사용해 수행한다. 라벨 통합이나 적응을 적용하지 않으므로, 클래스별 intersection-over-union 점수는 도메인 변화가 세부 의미론적 분할 성능에 미치는 전체 영향을 반영한다.
결론
LiDAR 의미론적 분할 모델의 배포 준비도를 평가하기 위해 세 가지 상호보완적 차원, 즉 Coarse-label 기반 안전성 평가, 실제 손상 조건에 대한 강건성, 도메인 간 일반화를 제시했으며, Jetson AGX Orin 임베디드 플랫폼과 RTX 4090 GPU에서의 추론 시간도 함께 측정했다.
결과는 깨끗한 벤치마크의 정확도가 배포 준비도를 예측하는 데 적합하지 않음을 보여준다. 표준 지표에서 높은 순위를 차지한 방법도 생명체와 같은 안전 핵심 클래스에서 실패하거나, 센서 손상 조건에서 성능이 크게 저하되거나, 도메인 변화에서 상당한 성능 하락을 겪을 수 있다. 특히 투영 기반 방법은 센서와 장면 변화에 대체로 더 민감한 경향을 보인다. 정확도, 강건성, 일반화, 계산 효율 사이에서 모두 뛰어난 절충점을 달성한 단일 최신 방법은 존재하지 않는다.
제안한 프로토콜은 기존 벤치마크를 넘어 LiDAR 의미론적 분할 모델을 평가할 수 있는 재현 가능한 프레임워크를 제공한다. 이를 통해 배포 준비도를 보다 종합적으로 평가하고, 현실적인 평가 관행을 확산하며, 실제 자율주행 인지를 위한 향후 모델 설계를 이끌 수 있다.
자주 묻는 질문
LiDAR 의미론적 분할은 어떤 역할을 하나요? 3차원 LiDAR 포인트 클라우드의 모든 포인트에 의미론적 라벨을 부여해 차량, 보행자, 도로, 건물과 같은 요소를 구분합니다.
주요 평가 차원 세 가지는 무엇인가요? Coarse-label 기반 안전성 평가, LiDAR 손상 조건에 대한 강건성, 데이터셋 간 도메인 일반화입니다.
도메인 일반화에는 어떤 데이터셋이 사용되나요? 모델을 nuScenes 또는 SemanticKITTI에서 학습하고, 적응 없이 ParisLuco3D에서 평가합니다.
추론 속도 측정에는 어떤 하드웨어 플랫폼이 사용되나요? NVIDIA RTX 4090 GPU와 Jetson AGX Orin 임베디드 플랫폼에서 추론 속도를 측정합니다.