통제된 실험 테스트베드
로봇은 두 가지 상태 정보를 받는다. 휠 오도메트리는 증분 이동 측정값을 제공하고, 알려진 랜드마크까지의 거리·방위각 측정값은 간헐적으로 절대 위치를 보정한다. 오도메트리 스트림에는 곱셈형 휠 슬립과 가산형 자이로 바이어스가 포함된다. 랜드마크 센싱은 거리 측정 잡음, 관측 가능한 랜드마크 수, 자이로 바이어스, 그리고 모든 랜드마크 관측을 사용할 수 없게 되는 예정된 센싱 중단이라는 네 가지 축을 따라 체계적으로 저하된다. 이러한 교란을 통해 로봇의 동역학과 제어 법칙은 고정한 채, 센싱 조건이 점차 나빠질 때 추정기의 동작을 살펴볼 수 있다.
제어기는 실제 정답 자세를 알지 못한다. 대신 각 제어 입력은 현재 사용 중인 옵저버가 산출한 자세 추정값으로 계산된다. 따라서 추정 오차는 실제로 적용되는 제어 명령에 영향을 주고, 이는 이후 로봇의 궤적과 주행 중 마주치는 측정값을 바꾼다. 이 결합이 실험 설계의 핵심이다. 고정된 궤적에서 평가했을 때 정확해 보이는 추정기라도, 그 추정값이 피드백 루프에 직접 사용되면 전혀 다른 동작을 보일 수 있다.
예측 상태 모델
데드 레커닝과 확장 칼만 필터
데드 레커닝(DR)은 오도메트리만으로 로봇 자세를 전파하며, 측정값에 기반한 보정은 적용하지 않는다. 확장 칼만 필터(EKF)는 동일한 유니사이클 운동 모델과 랜드마크 거리·방위각 관측 모델의 해석적 야코비안을 사용한다. 랜드마크 관측 사이에서 EKF는 운동 모델을 이용해 상태와 공분산을 전파하고, 유효한 랜드마크 측정값이 들어오면 표준 측정 업데이트를 수행한다.
자세 합성은 예측 자세와 잔차 측정값으로 계산한 보정값을 결합하는 방식으로 이루어진다.
이 연구에서 주요하게 다룬 옵저버는 DR, EKF, GRU-DR, SSM-DR, GRU-EKF, SSM-EKF의 여섯 가지다. 순환 모델은 센싱 품질과 운동 불확실성의 변화를 포함한 도메인 무작위화 전문가 궤적 200개를 사용해 시간 역전파 방식으로 학습했다.
확장 센싱 중단을 활용한 학습
랜드마크 측정이 없는 더 긴 구간을 경험하면 강건성이 향상되는지 살펴보기 위해 SSM-EKF, GRU-EKF, SSM-DR의 추가 버전을 학습했다. 이 모델들을 확장 블랙아웃 변형 모델이라고 부른다. 이 모델은 300개 궤적으로 학습했으며, 그중 절반에는 32~58 타임스텝 동안 지속되는 추가 센싱 중단을 포함했다. 표준 학습 데이터의 센싱 중단은 6~27스텝 동안 지속된다. 그 밖의 네트워크 구조, 학습 목표, 옵티마이저는 동일하게 유지했다.
센싱 중단은 시뮬레이션된 차량의 동역학과 오도메트리 시퀀스는 그대로 둔 채 랜드마크 측정 채널을 마스킹하는 방식으로 도입했다. 랜드마크 센싱은 시뮬레이션 로봇의 물리적 상태 변화에 영향을 주지 않으므로, 이 절차는 기본 운동은 보존하면서 측정 업데이트의 부재가 미치는 효과만 분리해낸다. 이를 통해 외부 보정 없이 예측을 지속하는 긴 구간을 학습한 모델이 폐루프 성능도 향상시키는지 검증할 수 있다.
평가 프로토콜
각 옵저버는 미래 측정값의 이용 가능 여부와 추정 상태가 로봇 궤적에 영향을 줄 수 있는지에 따라 주로 구분되는 세 가지 프로토콜로 평가했다. 모든 프로토콜에서 동일한 옵저버 집합을 사용하면 기존의 오프라인 추정 정확도, 측정이 없는 예측 정확도, 실제 폐루프 제어 성능을 비교할 수 있다.
측정 업데이트를 포함한 궤적 재생
재생 평가에서는 모든 옵저버가 동일하게 기록된 궤적을 처리한다. 입력 시퀀스에는 실제로 발생한 오도메트리, 랜드마크 거리·방위각 측정값, 그리고 해당 측정값의 가용성 마스크가 포함된다. 로봇 궤적이 고정되어 있으므로 옵저버 간 차이가 추정기에 이후 입력되는 값을 바꾸지 않는다.
산출된 자세 추정값은 위치 RMSE와 방위각 RMSE를 사용해 실제 정답 궤적과 비교했다. 이 프로토콜은 위치 추정 또는 상태 추정 정확도를 평가하는 전통적인 오프라인 평가를 나타낸다.
측정이 없는 롤아웃
두 번째 프로토콜은 미래의 랜드마크 보정이 없는 상황에서 각 옵저버가 상태 추정값을 전파하는 능력을 평가한다. 먼저 기록된 궤적을 옵저버에 재생하고, 일정한 간격의 체크포인트에서 옵저버의 내부 상태 전체를 저장한다. 각 체크포인트에서 옵저버의 복사본을 만들고, 실제 오도메트리 시퀀스만 사용해 지정된 롤아웃 구간 동안 앞으로 전파한다. 롤아웃 전체에서 랜드마크 측정값은 제공하지 않는다.
최종 롤아웃 시점의 위치 RMSE를 측정하고, 이를 체크포인트와 열 개의 평가 시드에 걸쳐 집계했다.
이 평가는 2초 동안 운동 전파에 전적으로 의존해야 할 때 각 옵저버가 상태 오차를 얼마나 빠르게 누적하는지 측정한다. 재생 프로토콜과 달리 측정이 없는 롤아웃은 외부 보정 없이 여러 스텝을 예측하는 능력을 직접 검증한다. 다만 모든 옵저버에는 동일하게 실제 오도메트리 시퀀스를 사용한다.
폐루프 경로 추종
폐루프 평가에서 옵저버는 시뮬레이터 내부에서 온라인으로 작동하며, 순수 추종 제어기에 사용할 자세 추정값을 제공한다. 산출된 제어 명령은 시뮬레이션 로봇에 적용되므로 추정 오차가 이후 차량 궤적에 직접 영향을 준다.
평가 중인 센싱 조건에 따라 랜드마크 측정값은 계속 들어오며, 옵저버는 측정값을 사용할 수 있을 때마다 반영한다. 경로 추종 성능의 주요 지표로 횡방향 오차 RMSE를 사용했다. 이와 함께 제어 노력, 센싱 중단 이후 회복 시간, 발산한 주행의 비율도 기록했다.
따라서 세 프로토콜은 각 옵저버를 서로 다른 정보 및 피드백 구조에 노출한다.
- 재생은 측정 보정을 반복해서 허용하지만 로봇 궤적은 고정한다.
- 측정이 없는 롤아웃은 지정된 예측 구간 동안 랜드마크 보정을 제거하면서도 실제 오도메트리 시퀀스는 재생한다.
- 폐루프 평가는 간헐적인 측정 업데이트와 피드백을 결합해 추정 오차가 이후 제어 입력, 로봇 운동, 센싱 기하를 바꾸도록 한다.
이 논문의 핵심 질문은 오프라인 프로토콜 중 하나라도 동일한 옵저버를 폐루프 제어에 사용했을 때의 순위를 그대로 보존하는가이다.
24개의 센싱 조건 각각에 대해 모든 오프라인 지표는 여섯 주요 옵저버의 순위를 산출한다. 이 순위를 동일한 센싱 조건에서 폐루프 횡방향 오차 RMSE로 얻은 순서와 비교했다. 144개 옵저버·조건 조합 전체에 대한 Spearman 순위 상관계수뿐 아니라, 오프라인 기준이 폐루프 최적 옵저버가 아닌 다른 옵저버를 선택한 빈도도 보고했다. 해당 조건에서 가장 뛰어난 폐루프 옵저버를 기준으로 한 선택 후회(regret)도 정량화했다.
로보틱스의 월드 모델 평가에 대한 시사점
이 연구에서 사용한 실험 플랫폼은 의도적으로 단순하게 구성했지만, 여기서 다룬 평가 문제는 로봇 시스템에 사용되는 예측 모델 전반에 적용된다. 오프라인 롤아웃에서 이용 가능한 정보는 동일한 모델을 온라인으로 사용할 때 이용 가능한 정보와 다른 경우가 많다.
오프라인 벤치마크에서는 고정된 초기 문맥에서 긴 예측을 평가할 수 있지만, 실제 로봇은 몇 번의 제어 주기만 지나도 새로운 카메라 영상, 고유수용성 측정값, 힘 측정값 또는 기타 센서 업데이트를 받을 수 있다. 그러면 상태 추정값이 보정되고, 제어기는 업데이트된 상태에서 다시 평가된다. 따라서 예측 모델의 유용성은 시스템을 얼마나 정확히 미래로 전파하는지뿐 아니라, 그 예측이 사용되는 센싱 및 피드백 일정에도 좌우된다.
예측 정확도와 폐루프 일치도
상태 예측 오차는 여전히 모델 품질을 나타내는 중요한 지표지만, 추정 오차가 제어 시스템에 미치는 영향을 직접 설명하지는 않는다. 따라서 오프라인 평가를 강화하려면 추정기 선택 정확도, 정책 순위 일치도, 폐루프 후회, 과업 성공률처럼 예측 수준과 제어 수준에서 모델 순위를 비교하는 지표를 함께 보고할 수 있다.
실험에서 20스텝 측정 없는 롤아웃은 상태 전파를 의미 있게 측정했지만, 폐루프 경로 추종에서 얻은 옵저버 순위와는 상당히 다른 순위를 산출했다. 순위 일치도와 선택 후회를 보고하면 평균 상태 예측 오차가 합리적으로 보이는 경우에도 이러한 차이를 확인할 수 있다.
상태 전파와 측정 보정의 분리
상태 전파와 측정 보정은 분리해서 평가해야 한다. 로보틱스에서 사용되는 예측 모델은 비전, 고유수용성, 힘 센싱 및 기타 외부 측정값 등 여러 센싱 모달리티를 점점 더 결합하고 있다. 새로운 측정값이 들어오면 상태 추정값이 바뀌고, 이후 제어 동작도 크게 달라질 수 있다.
긴 오픈루프 전파 동안 드리프트가 누적되는 모델도 다음 측정값을 효과적으로 반영한다면 좋은 성능을 낼 수 있다. 반대로 단기 전파가 정확한 모델이라도 상태 보정 과정에서 피드백 제어에 불리한 오차를 도입하면 성능이 나빠질 수 있다. 따라서 평가는 측정값 사이에서 모델이 시스템을 어떻게 전파하는지와 새로운 측정값이 들어왔을 때 상태 추정값이 어떻게 변화하는지를 모두 보여줘야 한다.
의도한 응용 분야에 맞춘 평가
이러한 관찰이 일반적으로 짧은 구간 평가가 장기 예측보다 낫다는 뜻은 아니다. 계획 수립, 모델 예측 제어 또는 정책 학습에 사용되는 예측 모델은 여기서 다룬 상태 추정기보다 훨씬 긴 모델 전파에 의존할 수 있다. 이런 응용에서는 장기 예측 정확도가 성능과 직접 관련될 수 있다.
결과가 보여주는 것은 롤아웃 정확도와 폐루프 유용성의 관계가 예측 모델을 로봇 시스템에 어떻게 통합하는지에 따라 달라진다는 점이다. 따라서 평가 프로토콜은 의도한 응용 분야의 센싱, 상태 업데이트, 제어 구조를 가능한 한 충실히 재현해야 한다.
한계
실험마다 학습 반복 횟수도 다르다. 네 가지 주요 EKF 기반 순환 추정기인 SSM-EKF, GRU-EKF와 각 확장 블랙아웃 변형 모델은 부록에 보고한 대로 각각 세 개의 독립적인 학습 시드를 사용해 평가했다. 특히 확장 센싱 중단으로 학습한 SSM-EKF는 초기화에 따른 변동이 눈에 띄게 크므로, 학습 변동성을 더 정확히 추정하려면 독립적인 학습을 다섯 번 이상 수행하는 것이 바람직하다.
DR 기반 옵저버와 절제 실험을 포함한 일부 보조 실험은 독립적인 학습 횟수가 더 적다. 따라서 이러한 결과는 독립적인 통계적 결론이라기보다 보조적인 근거로 해석해야 한다.
일치 데이터 연구에서는 센싱 중단 지속 시간의 분포를 바꾸면서 학습 데이터의 크기는 통제했다. 이 실험에서 학습 블랙아웃 분포를 평가 조건에 맞추는 방식은 일관된 폐루프 이점을 제공하지 않았다. 따라서 이 결과는 블랙아웃 지속 시간만 맞추는 것으로는 충분하지 않다는 증거로 해석해야 하며, 특정 학습 커리큘럼을 지지하는 증거로 해석해서는 안 된다.
이러한 한계는 결론의 적용 범위를 규정한다. 본 실험은 대규모 시각 월드 모델에 보편적으로 적용되는 평가 지표를 제시하지 않으며, 측정이 없는 롤아웃이 일반적으로 로봇 계획에 부적절하다고 주장하지도 않는다.
본 연구가 보여주는 결과는 더 구체적이다. 예측 상태 모델이 피드백 제어기 내부에서 사용되고 간헐적인 측정 보정을 받을 때, 오프라인 롤아웃의 측정 일정이 폐루프 작동 중 경험하는 일정과 크게 다르면 모델 순위가 오해를 불러일으킬 수 있다.
앞으로는 동일한 통제된 비교를 시각 예측 모델, 추가적인 로봇 동역학, 다양한 제어기, 물리적 폐루프 실험으로 확장할 필요가 있다.
결론
이 논문은 예측 상태 추정기가 로봇 피드백 루프 안에서 사용될 때 오프라인 예측 정확도가 폐루프 제어 성능과 어떤 관계를 갖는지 살펴보았다. 바이어스가 포함된 오도메트리와 간헐적인 랜드마크 센싱을 사용하는 차동구동 경로 추종 과업에서, 여섯 옵저버와 24개 센싱 조건을 대상으로 재생 기반 추정 오차, 다중 스텝 측정 없는 롤아웃 오차, 폐루프 추종 성능을 비교했다.
20스텝 측정 없는 롤아웃은 다중 스텝 상태 전파를 직접 평가했음에도 재생 위치 RMSE보다 폐루프 옵저버 순위와의 일치도가 낮았다.
예측 구간과 측정 업데이트에 관한 실험은 이 결과를 더 정확히 설명한다. 추정기가 정기적인 측정 보정을 계속 받는 경우 긴 예측 구간도 여전히 유용하지만, 긴 전파가 드물거나 없는 측정 업데이트와 결합되면 폐루프 성능과의 일치도가 크게 떨어진다. 따라서 중요한 평가 변수는 예측 구간 하나가 아니라 예측 구간과 측정 업데이트 일정의 조합이다.
종합하면, 로보틱스에서 예측 모델을 평가할 때 적용할 수 있는 실용적인 원칙은 다음과 같다. 예측 오차는 모델이 실제로 사용될 방식에 부합하는 정보 패턴 아래에서 측정해야 한다. 피드백 제어기 내부에서 작동하는 모델이라면 새로운 측정값이 언제 제공되는지, 상태 추정값이 언제 업데이트되는지, 새로운 제어 입력이 언제 계산되는지를 명시해야 한다.
따라서 유용한 롤아웃 벤치마크는 시간적 난이도를 예측 구간 하나로만 다루기보다, 의도한 로봇 응용 분야의 센싱 및 피드백 구조를 재현해야 한다.
감사의 글
이 프로젝트는 Georgia Institute of Technology의 2026년 여름 학기 ECE 6562(자율 로봇 시스템 제어) 기말 프로젝트로 시작되었으며, 여기서 보고한 블라인드 롤아웃 평가와 장기 블랙아웃 학습 실험을 추가해 확장되었다.
자주 묻는 질문
연구에서는 어떤 로봇 과업을 사용했나요? 바이어스가 포함된 오도메트리와 간헐적인 랜드마크 센싱을 사용하는 차동구동 경로 추종 과업을 사용했다.
어떤 옵저버를 비교했나요? 주요 비교 대상은 DR, EKF, GRU-DR, SSM-DR, GRU-EKF, SSM-EKF의 여섯 가지 옵저버였다.
어떤 평가 프로토콜을 사용했나요? 측정 업데이트를 포함한 궤적 재생, 측정 없는 롤아웃, 폐루프 경로 추종으로 옵저버를 평가했다.
가장 중요한 평가상의 교훈은 무엇인가요? 예측 정확도는 해당 예측 모델이 실제로 사용될 방식을 반영하는 센싱 및 피드백 일정 아래에서 측정해야 한다.