관련 연구 및 최신 기술 동향
이 절에서는 하드웨어 추상화의 기존 접근법, 혼합 교통 시뮬레이션의 현황, 그리고 다중 에이전트 환경에서 분산 물리와 지연 시간을 관리할 때 발생하는 기술적 과제를 검토한다. 이를 통해 CARLAverse 생태계의 프레임워크를 맥락 속에서 살펴본다.
종합: CARLAverse의 차별성
기존 연구를 종합하면, 중간 미들웨어에 의존하는 중앙집중형 물리 아키텍처는 고주파·전역 연결형 햅틱 피드백 시뮬레이터를 지원하는 과정에서 지연 시간과 지터 문제를 야기할 수 있다. CARLAverse 생태계는 이러한 구조적 상충 관계를 해결하기 위해 설계되었다. 능동 제어 과정에서 미들웨어 변환 계층을 거치지 않고 네이티브 오케스트레이션을 사용하는 CARLAverse는 다음 세 가지 핵심 축을 바탕으로 차별화된다.
CARLAverse 아키텍처
CARLAverse는 인간 참여형 몰입에 필요한 지연 시간을 저해하지 않으면서 고충실도 다중 에이전트 혼합 교통 환경을 구현하기 위해 특화된 분산 소프트웨어·하드웨어 아키텍처를 사용한다.
시스템 아키텍처 개요
CARLAverse 생태계의 핵심 토폴로지는 CARLA의 엄격한 서버-클라이언트 구조를 따르되, 서로 다른 유형의 시뮬레이터 클라이언트 여러 대를 동시에 지원하도록 확장되었다. 아키텍처의 중심에는 CARLA Unreal Engine 환경을 실행하는 전용 중앙 서버가 있다. 여러 클라이언트 머신이 네트워크를 통해 이 중앙 서버에 연결된다. 각 로컬 노드는 DrivoCARLA 주행 시뮬레이터, CycloCARLA 자전거 시뮬레이터, WalkoCARLA 보행자 설정과 같은 특정 멀티모달 시뮬레이터 구성을 호스팅한다.
횡단 프레임워크와 오케스트레이션
여러 인간 참여자를 위한 일관된 공유 가상 환경을 구축하려면 분산 물리만으로는 충분하지 않다. 모든 노드에서 높은 모듈성과 타당한 실험 결과를 확보하기 위해 CARLAverse는 시스템 오케스트레이션, 텔레메트리 시각화, 감각 증강을 프레임워크 전반에서 일관되게 관리하는 횡단 기술을 활용한다. 이 논문은 시스템 수준의 문제에 초점을 두므로, 다음 절에서는 공간 음향, 포스 피드백, 모션 큐잉과 같은 횡단 서브시스템의 소프트웨어 아키텍처, 추상화 계층, 통합 인터페이스를 개괄한다. 각 영역의 구체적인 수학적 모델링과 검증은 별도의 관련 연구에서 다룬다.
CARLAverse 도구 라이브러리
SetupManager: 가상 환경의 수명주기를 관리한다. 여기에는 월드 상태 관리와 분산 네트워크 전반에서 액터를 안전하게 생성하고 제거하는 기능이 포함된다.
SharedMemory: CARLA 서버를 우회해야 하는 상태 변수에 대해 CARLAverse 모듈 간 프로세스 간 통신을 관리한다.
Vehicle Physics and Control: 속도, 엔진 RPM, 휠베이스 치수처럼 지연 시간에 민감한 텔레메트리를 추출하고, 차량 조명과 방향지시등 같은 액추에이터 명령을 원활하게 처리할 수 있도록 표준화된 래퍼를 제공한다.
Utilities: 액터와 센서 관리를 간소화하는 여러 보조 함수로 구성된다. 여기에는 특정 액터를 안정적으로 가져오기 위한 페일세이프, 중복 데이터 스트림이나 API 충돌을 방지하기 위한 센서의 유일한 생성 보장, 실행 중 발생하는 오류를 견고하게 처리하는 기능이 포함된다.
신속한 프로토타이핑과 YAML 기반 오케스트레이션
맞춤형 시뮬레이터 소프트웨어에서 자주 발생하는 한계는 하드웨어 매핑이 소스 코드와 긴밀하게 결합된다는 점이다. 따라서 기본 데스크톱 설정에서 고충실도 모션 플랫폼으로 전환하려면 소스 코드를 대대적으로 수정해야 한다. CARLAverse는 이 문제를 해결하기 위해 관심사 분리 원칙에 따라 단일 진실 공급원(Single Source of Truth) 아키텍처를 구현한다. 제어, 포스 피드백, 시각화와 같은 실행 모듈은 근본적으로 하드웨어에 종속되지 않는다. 대신 각 시뮬레이터 노드의 인스턴스화는 포괄적인 YAML 구성 파일에 의해 전적으로 결정되므로, 여러 영역에서 신속한 프로토타이핑과 간편한 재구성이 가능하다.
또한 행동 및 인간공학 연구에서는 엄격한 실험 재현성이 핵심 요건이다. 이 중앙 YAML 구성 파일을 실험 rosbag 데이터 로그와 함께 보관하면, 연구자는 실험에 사용된 하드웨어 상태, 물리 모델, 환경 프로파일, 제어 매핑을 정확히 보존할 수 있다. 이를 통해 실험이 끝난 뒤 오랜 시간이 지나도 동일한 조건을 일관되게 재구성할 수 있다.
공간 음향 렌더링
지리공간 음향 생성: 엔진은 활성 OpenDRIVE 맵과 Unreal Engine 환경에서 메타데이터를 추출해 상황에 맞는 주변 소음을 생성한다. 예를 들어 가상 식생까지의 거리를 계산해 바람에 나뭇잎이 스치는 소리를 만들거나, 수역까지의 거리를 계산해 바다의 음향을 생성한다.
동적 음원: 공사 소음, 사이렌, 주변 AI 교통의 타이어-노면 마찰음처럼 특정 위치에서 발생하는 사건은 3D 공간의 동적 음원으로 생성된다.
클라이언트별 렌더링: 중앙 서버는 모든 음원의 공간 좌표를 계산해 각 로컬 노드로 전송한다. 그러면 각 시뮬레이터 노드가 오디오 믹스를 로컬에서 렌더링한다. 이 방식은 헤드셋과 같은 단순 스테레오 시스템부터 다채널 시스템까지 지원한다.
이러한 지리공간 음향 생성은 몰입감을 크게 높이지만, CARLAcoustics 모듈의 정밀한 음향 모델링, 주파수 마스킹, 주관적 검증은 매우 복잡한 문제이므로 향후 별도의 논문에서 다룰 예정이다.
결론 및 향후 연구
도심 환경을 위한 자율주행 시스템을 개발하려면 혼합 교통의 동역학을 상세히 이해해야 한다. 인간 참여형 시뮬레이터는 참여자를 물리적 위험에 노출하지 않고 이러한 상호작용을 안전하고 반복적으로 연구할 수 있는 방법을 제공한다. 그러나 기존 시뮬레이터 구성의 핵심적인 한계는 흔히 운용이 고립되어 있었다는 점이다. 혼합 교통을 연구하려면 취약 도로 이용자를 포함한 여러 인간 참여자가 동기화된 상태로 상호작용하는 것이 근본적으로 중요하다.
향후 연구
CARLAverse의 기반 아키텍처는 성공적으로 구현되어 실제 배포까지 완료되었지만, 향후 연구와 검증, 시스템 고도화를 위해서는 여전히 여러 과제가 남아 있다.
첫째, 취약 도로 이용자 노드에 적용된 물리 모델은 실증적 검증이 필요하다. CycloCARLA에 구현된 자전거의 종방향 동역학과 포스 피드백은 별도의 연구에서 수학적으로 검증되었으며, 해당 연구는 출판 예정이다. 마찬가지로 CARLAcoustics 모듈의 공간 음향 전파 및 주파수 마스킹 알고리즘도 향후 논문에서 평가하여 참여자의 몰입감과 위치 파악 정확도에 미치는 영향을 정량화할 예정이다.
시뮬레이터 노드의 물리적 몰입감을 한층 높이기 위해 여러 하드웨어 확장도 현재 개발 중이다. 자전거 시뮬레이터에는 노면의 요철과 경사를 재현할 수 있는 모션 플랫폼과 전용 바람 시뮬레이션 시스템을 구축하고 있다. 동시에 보행자 노드에서 자연스럽고 제약 없는 이동을 지원하기 위해 전방향 트레드밀을 통합하고 있다.
시각적 충실도와 성능 향상도 중요한 연구 분야다. 현재의 가상현실 렌더링 파이프라인을 엄밀하게 평가하여 다양한 렌더링 방법론과 체계적으로 비교할 계획이다. 이 과정에서 더 높은 수준의 사실적 영상을 구현하기 위한 대안으로, 기본 CARLA 렌더링 엔진 대신 신경망 렌더링 기법을 활용할 가능성도 적극적으로 검토하고 있다.
마지막으로 오픈 사이언스의 원칙에 따라, 핵심 모듈과 도구는 이미 공개되어 있으며 CARLAverse 프레임워크의 나머지 구성 요소를 모두 공개하기 위한 작업이 진행 중이다. 하드웨어에 종속되지 않는 Python 모듈 전체, YAML 템플릿, 동기화 스크립트를 전 세계 연구 공동체에 제공함으로써, 저자들은 몰입형 연결형 시뮬레이터 연구에 참여하는 진입 장벽을 낮추고 자동화 모빌리티 분야의 공동 발전을 촉진하고자 한다.
감사의 글
이 연구는 독일 연방 연구·기술·우주부의 지원을 받은 KIIWI 프로젝트(과제 번호 16DHBKI060)와 바덴뷔르템베르크주 경제·노동·관광부의 지원을 받은 Real2Sim 프로젝트(과제 번호 BW7_2199/2)의 일환으로 수행되었다.
이 연구를 준비하는 동안 저자들은 언어 편집과 프로젝트 로고 등 시각 자료 생성 지원을 위해 Google Gemini를 사용했다. 저자들은 모든 내용을 검토하고 편집했으며, 출판물에 대한 전적인 책임을 진다.
자주 묻는 질문
CARLAverse란 무엇인가? CARLAverse는 멀티모달·다중 에이전트 인간 참여형 시뮬레이션을 위한 분산 소프트웨어·하드웨어 생태계다.
CARLAverse는 시뮬레이터 노드를 어떻게 연결하는가? 중앙 CARLA Unreal Engine 서버가 네트워크를 통해 주행, 자전거, 보행자 설정을 포함한 서로 다른 유형의 로컬 시뮬레이터 노드에 연결된다.
CARLAverse는 시뮬레이터를 어떻게 신속하게 재구성하는가? 하드웨어에 종속되지 않는 실행 모듈을 각 시뮬레이터 노드를 정의하는 포괄적인 YAML 파일로 구성한다.
어떤 하드웨어 개발이 예정되어 있는가? 자전거 모션 플랫폼, 전용 바람 시뮬레이션, 보행자 시뮬레이션용 전방향 트레드밀이 개발될 예정이다.