새로운 계층형 프레임워크가 강화학습과 모델 예측 제어를 결합해, 더 느린 자율주행 레이싱카가 빠른 상대의 추월을 막을 수 있도록 했다. 시뮬레이션에서 이 시스템은 추월까지 걸리는 평균 시간을 8.8초에서 14.6초로 늘렸으며, 가용 타이어 힘의 83.4%를 활용하면서도 실시간 운용에 적합한 30Hz로 작동했다.
목차
연구진이 개발한 것
기존 자율주행 레이싱 연구는 랩타임 최소화, 즉 트랙을 최대한 빠르게 도는 데 초점을 맞춰 왔다. 이 논문은 정반대의 상황을 다룬다. 뒤에서 쫓아오는 차량보다 내 차가 느리다면 어떻게 해야 할까? 연구진은 차량을 물리적 한계까지 밀어붙이면서도 더 빠른 상대의 추월을 막는 수비 블로킹 시스템을 설계했다.
이 프레임워크는 계층형 구조로 되어 있다. Soft Actor-Critic을 기반으로 한 상위 강화학습 에이전트는 레이스 트랙을 따라 휘어지는 기준 좌표계인 Frenet 좌표계에서 작동한다. 이 RL 계층은 전략적인 블로킹 행동을 학습한다. 트랙의 가로 방향 공간을 얼마나 차지할지, 어떤 속도 프로파일을 따를지를 결정하는 것이다. 그 결과는 트랙의 기하학적 특성을 반영한 수비 목표값으로 출력된다.
이 목표값은 하위 계층의 비선형 모델 예측 제어기(NMPC)로 전달된다. NMPC는 수비를 공간 규제 문제로 다룬다. 즉, 타이어 마찰 한계를 지키면서 차량이 트랙 위 특정 점유 구역 안에 머물도록 제어한다. 전체 제어 루프는 한 번 계산하는 데 평균 33.3ms가 걸렸으며, 이를 통해 시뮬레이션한 Thunderhill West 서킷에서 실시간 적대적 상호작용이 가능했다.
핵심 결과
연구진은 RL 기반 수비 제어기를 명시적인 수비 블로킹 기능이 없는 기준 시스템과 비교했다. 결과는 분명했다.
| 지표 | 기준 시스템 | RL-MPC 수비 제어 | 개선도 |
|---|---|---|---|
| 평균 추월까지의 시간 | 8.8초 | 14.6초 | +66% |
| 타이어 힘 활용률 | — | 83.4% | 한계에 근접 |
| 평균 계산 시간 | — | 33.3ms | 실시간 가능 |
| 계산 시간 표준편차 | — | 13.9ms | 안정적 |
수비 프레임워크는 상대 차량의 트랙 주행을 크게 지연시켰다. 타이어 힘 활용률이 83.4%라는 것은 차량이 제어를 잃지 않으면서 마찰 한계에 매우 근접해 주행했다는 뜻이다. 이는 레이싱에서 핵심적인 조건이다. 계산 시간이 33.3ms이므로 30Hz 제어 루프 안에 충분히 들어오며, 실제 자율주행 레이싱카에도 큰 지연 없이 탑재할 수 있음을 보여준다.
작동 방식
이 시스템은 문제를 서로 연결된 두 요소로 나눈다.
전략 계층(SAC 정책): 이 강화학습 에이전트는 트랙 중심선을 따라가는 축이 종방향을, 중심선에 수직인 축이 횡방향을 나타내는 좌표계인 Frenet 공간에서 작동한다. RL 에이전트는 두 차량의 상대 위치와 속도, 그리고 전방 트랙의 곡률을 관측한다. 이후 차량이 좌우로 얼마나 이동해야 하는지를 나타내는 목표 횡방향 오프셋과, 종방향으로 전진할 목표 속도를 출력한다. 에이전트는 시뮬레이션에서 추월까지 걸리는 시간을 최대화하도록 학습된다. 그 과정에서 언제 강하게 막고 언제 물러나 나중에 다시 수비 위치를 잡을지 익힌다.
전술 계층(NMPC): 모델 예측 제어기는 RL이 생성한 목표값을 조향, 가속, 제동 명령으로 변환한다. 이 제어기는 수비를 공간 점유 규제 문제로 정식화한다. NMPC는 RL이 지정한 횡방향 위치에서 벗어나는 비용과 상대 차량이 종방향으로 전진하도록 허용하는 비용을 함께 고려한다. 타이어 힘 원 제한을 통해 마찰 제약을 적용하므로, 차량이 한계 주행을 하더라도 물리적으로 실현 가능한 상태를 유지한다. 제어기는 매 시점마다 비선형 최적화 문제를 풀고, 예측 지평을 한 단계씩 앞으로 이동시키는 방식으로 작동한다.
핵심적인 혁신은 공간 정규화다. MPC는 순수한 속도만 최적화하는 대신 수비를 위한 공간 점유, 즉 상대 차량과 다음 코너 사이를 차지하는 것을 속도만큼 중요하게 고려한다. 덕분에 그 주행선이 상대의 추월을 허용하는 상황에서는 차량이 이상적인 레이싱 라인을 그대로 따르지 않게 된다.
로보틱스에서 중요한 이유
수비 주행의 의미는 트랙 레이싱을 훨씬 넘어선다. 적대적이거나 경쟁적인 환경에서 작동해야 하는 모든 자율 시스템은 블로킹과 공간 협상 능력을 필요로 한다. 좁고 복잡한 통로를 이동하는 물류창고 로봇, 보안 순찰 로봇, 혼잡한 물류센터의 자율 지게차도 비슷한 전략을 활용해 다른 에이전트가 우선적인 위치를 차지하지 못하도록 할 수 있다.
계층형 RL-MPC 방식은 고속 로봇 제어의 다른 문제에도 적용할 수 있는 설계 방식이기도 하다. 추상적인 목표를 설정하는 학습 기반 전략 계층과, 동역학 및 제약 조건을 처리하는 전통적인 최적화 계층을 결합하는 것이다. 탐색 과정 때문에 정책 학습만으로는 안전성이 떨어지고, 상대의 행동을 알 수 없어 순수 최적화만으로는 취약해질 수 있는 시스템에서 특히 매력적인 구조다.
제약이 많은 공유 공간에서 작동하는 로봇의 사례는 Robot Overflow의 물류창고 로봇에서 확인할 수 있다.
한계와 남은 과제
이 시스템은 단 한 대의 상대 차량을 대상으로 한 시뮬레이션에서만 검증됐다. 실제 레이싱 트랙에서의 검증이 필수적이다. 타이어 모델, 센서 잡음, 노면 변화가 모두 성능에 영향을 주기 때문이다. 논문은 상대 차량이 알려진 정책 또는 학습된 정책을 따른다고 가정하므로, 전혀 모르는 상대의 주행 스타일에 일반화하는 문제는 여전히 해결되지 않았다. 또한 RL 학습에는 상당한 시뮬레이션 시간이 필요했고, 성능 저하 없이 실제 하드웨어로 이전하는 일도 쉽지 않다. 마지막으로 현재의 정식화는 일대일 적대적 레이싱만 다룬다. 세 대 또는 네 대가 몰려 달리는 다중 차량 상황에는 근본적으로 다른 공간 추론 방식이 필요하다.
자주 묻는 질문
이 시스템은 상용 자율주행차를 위한 것인가요? 아니요. 고성능 자율주행 레이싱을 위해 설계됐습니다. 다만 계층형 RL-MPC 구조는 향후 운전자 보조 시스템이나 긴급 회피 기동 시스템에 영향을 줄 수 있습니다.
일반적인 경로 추종과는 어떻게 다른가요? 일반적인 경로 추종은 미리 계산된 레이싱 라인을 따라갑니다. 이 시스템은 상대 차량의 위치에 따라 공간 점유를 능동적으로 조정해 블로킹하며, 순수한 속도보다 수비 위치를 우선합니다.
구동하려면 강력한 하드웨어가 필요한가요? 보고된 33.3ms의 계산 시간은 RL 추론용 GPU를 장착한 일반 데스크톱 CPU에서 달성됐습니다. 실제 레이싱 플랫폼에도 이에 준하는 연산 환경이 필요하지만, 지연 시간이 낮아 실시간 운용은 가능합니다.
뒤에서 수비하는 상황에도 작동하나요? 논문은 느린 차량이 앞에 있을 때의 수비에 초점을 맞춥니다. 같은 계층형 접근법을 뒤에서 수비하는 상황, 예를 들어 안쪽 추월을 막는 경우에 맞게 조정할 수는 있지만, 이 논문에서 직접 검증하지는 않았습니다.
결론
이 연구는 강화학습 기반 전략 계층과 모델 예측 제어 기반 전술 계층을 결합해, 자율주행 레이싱카가 더 빠른 상대를 체계적으로 방어할 수 있는 방법을 제시했다. 타이어 마찰 한계에 근접한 상태에서 실시간 속도로 작동하면서 추월까지의 시간을 66% 늘렸다는 결과는, 학습 기반 공간 규제가 단순 반응형 전략이나 랩타임 최소화 전략보다 뛰어날 수 있음을 보여준다.