서론
이 연구와 관련된 문헌은 크게 세 가지로 나눌 수 있다. 다중 로봇 시스템을 위한 ROS 2 프레임워크와 도구, 특정 분야에 특화된 툴박스, 그리고 로보틱스를 위한 게임 엔진 및 혼합현실 도구가 그것이다.
실제 환경에서의 실험이 비용이 많이 들거나 위험하고, 또는 접근하기 어려운 경우 고충실도 시뮬레이션은 물리적 실험을 효과적으로 보완할 수 있다. Unity 기반 환경은 ROS와 통합되어 몰입형 원격조작, 사실적인 이동 로봇 시뮬레이션, 혼합현실 또는 디지털 트윈 검증 프레임워크를 지원해 왔다. 그러나 우리가 아는 한, 분산 협조 알고리즘을 실행하는 자율주행 이동 로봇의 혼합현실 플릿 관리를 명시적으로 지원하는 ROS 2–Unity 툴킷은 아직 제시되지 않았다.
가상 센싱과 혼합현실 시뮬레이션을 위한 Unity 기반 인터페이스
Unity는 사실적인 시뮬레이션과 시각화를 구현할 수 있는 다목적 3D 개발 플랫폼으로, 다중 로봇 시스템의 환경을 가상화하는 데 적합하다. Unity의 그래픽 및 물리 엔진을 활용하면 로봇이 실시간으로 이동하고 객체와 상호작용하는 동적·대화형 환경을 구축할 수 있다.
이러한 도구를 결합하면 Unity는 대화형 고충실도 시뮬레이션 프런트엔드로 기능하고, ROS는 센서 데이터 처리, 경로 계획, 제어 알고리즘과 같은 로봇 백엔드 프로세스를 담당할 수 있다. 이 구성에서는 ROS의 제어 아래 Unity가 복잡한 환경과 로봇 행동을 시뮬레이션하므로, 다중 로봇 시스템의 가상 시험과 검증을 더욱 현실적이고 유용하게 수행할 수 있다.
Unity 기반 인터페이스는 다음 두 가지 핵심 기능에 초점을 맞춘다.
- 매개변수 기반 환경의 동적 생성.
- ROS 2 기반 실험을 위한 로봇 모델 및 가상 센서 통합.
혼합현실 실험
실험에서 Jackal 로봇은 표준 5GHz Wi-Fi 네트워크를 통해 ROS 2 발행-구독 프로토콜로 워크스테이션과 통신한다. 실제 실험과 가상 실험은 Docker 컨테이너로 구성되어 Ubuntu 24.04에서 실행된다.
워크스테이션에는 AMD Ryzen 7 7800X3D 프로세서와 Nvidia GeForce RTX 5090 GPU가 탑재되어 있다. 사용한 ROS 2 버전은 Jazzy Jalisco이며, Unity 버전은 6000.0.74f1이다.
혼합현실 실험에서는 Vicon 모션 캡처 시스템이 로봇의 자세, 즉 위치와 방향을 제공한다. Intel i9-9900K 프로세서와 Windows 11을 탑재한 두 번째 워크스테이션에서는 Vicon Tracker 3.10을 실행한다.
시나리오 1: 장애물이 있는 가상 실내 환경에서의 동적 작업 할당
이 시나리오에서는 시간에 따라 변하는 작업 집합을 로봇들이 통신 기능을 활용해 분산 방식으로 협력 수행해야 한다. 이러한 구성은 다중 로봇 시스템에서 잘 알려진 조합 최적화 문제인 동적 작업 할당 문제로 모델링할 수 있다.
분산 최적화 문제는 최적화 기반 관리 시스템이 처리한다. 각 로봇이 작업 할당을 결정하면 단일 로봇 제어 및 내비게이션 시스템이 작업 계획과 실행을 담당한다.
로봇이 시설 내 특정 위치에 도달하면 작업이 완료된 것으로 간주한다. 실제 응용 사례와 마찬가지로 할당 문제는 동적이다. 일부 작업이 완료되면 새로운 작업이 추가된다. 따라서 로봇은 새로운 데이터에 맞춰 지속적으로 최적화를 다시 수행하고 로컬 계획을 조정해야 한다.
실험에서는 다양한 환경에서 로봇이 작업을 수행하는 모습을 확인할 수 있다. 가상 실험에서 로봇은 Unity 환경을 주행하며 주변을 매핑하고 장애물 및 다른 로봇과의 충돌을 피한다. 실험 영상은 보충 자료로 제공된다.
시나리오 2: 가상 환경 속 실제 로봇
Jackal은 실제 환경을 주행하면서 가상 환경을 감지한다. 이 실험에서 구현한 혼합현실 연동을 잘 보여주기 위해, 로봇은 가상 환경 안에 배치된 가상 장애물을 피해 일련의 목표 자세에 도달하도록 작업을 부여받는다.
자주 묻는 질문
ROS 2–Unity 툴킷의 목적은 무엇인가? 분산 협조 알고리즘을 실행하는 자율주행 이동 로봇의 혼합현실 플릿 관리를 지원한다.
이 툴킷에서 Unity를 사용하는 이유는 무엇인가? Unity는 대화형 그래픽 및 물리 엔진을 통해 사실적인 3D 시뮬레이션과 시각화를 제공한다.
Jackal은 워크스테이션과 어떻게 통신하는가? Jackal은 표준 5GHz Wi-Fi 네트워크에서 ROS 2 발행-구독 프로토콜을 사용한다.
두 번째 혼합현실 시나리오에서는 어떤 일이 일어나는가? 실제 Jackal이 가상 환경을 감지하며 주행하고, 가상 장애물 사이에서 목표 자세에 도달한다.