연구진이 로봇이 이전에 학습한 행동을 잊지 않으면서 변화하는 환경 조건(예: 돌풍)에 지속적으로 제어 정책을 적응할 수 있는 프레임워크를 개발했습니다. 이 접근 방식은 변분 신경 동역학 모델을 사용하여 외란의 구조화된 표현을 학습하며, 쿼드로터가 갑작스러운 바람 변화에서 회복하고 시간이 지남에 따라 추적 성능을 개선할 수 있도록 합니다.
목차
연구진이 구축한 것
연구진은 로봇 배포를 훈련의 종료가 아닌 지속적인 학습 과정으로 간주하는 지속적 정책 학습 시스템을 만들었습니다. 핵심 혁신은 해석적 물리 사전 정보와 학습된 잔차 구성 요소를 결합한 변분 신경 동역학 모델입니다. 순환 인코더(GRU 기반)는 짧은 히스토리의 상태-행동 쌍을 처리하여 현재 환경 조건(예: 쿼드로터에 영향을 미치는 풍속 및 방향)을 나타내는 잠재 코드를 추론합니다.
이 잠재 코드는 잔차 동역학 모델과 제어 정책 모두를 조건화합니다. 시뮬레이션에서 정책 최적화 중에는 실제 조건에 맞는 사전 분포에서 잠재 코드를 샘플링합니다. 배포 시 인코더는 실시간으로 잠재를 추론하여 정책이 즉시 적응할 수 있도록 합니다. 전체 동역학 모델은 실제 상호작용 데이터를 사용하여 온라인으로 훈련되므로 로봇은 환경이 어떻게 동작하는지에 대한 이해를 지속적으로 개선합니다.
이 프레임워크는 팬에 의해 생성된 제어된 바람 외란 하에서 8자형 궤적을 추적하는 실제 Agilicious 쿼드로터에서 검증되었습니다. 이 시스템은 로봇이 바람의 급격한 변화에서 회복하고 반복되는 조건을 처음부터 다시 훈련할 필요 없이 인식할 수 있음을 보여줍니다.
주요 결과
실제 쿼드로터 비행 실험에서 지속적 학습 프레임워크는 정적 기준선보다 크게 우수한 성능을 보였습니다. 비행 중 바람 조건이 갑자기 방향이나 크기를 변경했을 때, 변분 신경 동역학 모델을 사용한 쿼드로터는 적응하지 않은 방법보다 더 빠르게 추적 성능을 회복했고 오버슈트도 더 낮았습니다. 특히, 위치 오차가 전환 전 범위로 돌아올 때까지의 시간인 회복 시간이 기존 고정 정책 접근 방식에 비해 단축되었습니다.
모델이 학습한 잠재 공간은 명확한 클러스터링을 보여주었습니다: 유사한 특성을 가진 바람 조건(예: 역풍 vs. 측풍)이 별개의 그룹을 형성하여 인코더가 다양한 외란 모드를 성공적으로 식별하고 분류했음을 나타냅니다. 이 구조화된 표현을 통해 로봇은 이전에 경험한 조건을 재학습 없이 빠르게 인식하고 대응할 수 있었습니다.
여러 쿼드로터 작업(착륙, 엔드 이펙터 추적, 상자 밀기 포함)에 걸친 제어된 시뮬레이션 연구에서 이 방법은 대안적인 지속적 학습 기준선보다 일관되게 더 낮은 추적 오차와 더 높은 성공률을 달성했습니다. 정책 최적화 중 사전 분포에서 잠재를 샘플링하는 능력은 보지 못한 조건에 대한 일반화에 중요했습니다.
작동 방식
이 프레임워크는 학습, 최적화, 배포의 세 단계로 작동합니다.
학습: 로봇은 실제 상호작용 중 전이 데이터(상태, 행동, 다음 상태)를 수집합니다. 변분 인코더(GELU 활성화된 밀집층 다음에 GRU)는 최근 전이의 컨텍스트 윈도우를 처리하고 잠재 변수에 대한 분포를 출력합니다. 잠재는 숨겨진 동역학(예: 바람 외란)을 인코딩합니다. 동역학 모델은 해석적 물리 사전 정보(예: 알려진 쿼드로터 동역학)와 잠재에 조건화된 신경 잔차로 구성됩니다. 훈련은 추론된 잠재를 사전 분포와 정렬하는 변분 하한을 최대화합니다.
최적화: 정책 개선 중에는 동역학 모델과 인코더가 고정됩니다. 정책은 사전에서 샘플링된 잠재와 함께 시뮬레이션에서 롤아웃됩니다. 정책 매개변수는 병렬 롤아웃을 통한 시간 역전파로 최적화됩니다. 즉, 정책은 어떤 잠재 조건이 주어져도 추적 오차를 최소화하는 행동을 생성하는 방법을 학습합니다.
배포: 학습된 인코더는 로봇에서 실시간으로 실행됩니다. 현재 상태-행동 히스토리를 읽고 가장 가능성 있는 잠재 조건을 출력합니다. 이 잠재는 잔차 동역학 모델(상태 예측용)과 정책(행동 생성용) 모두에 제공됩니다. 따라서 정책은 비행 중 추론된 바람 조건에 맞게 행동을 조정합니다.
| 구성 요소 | 기능 | 주요 세부 사항 |
|---|---|---|
| 순환 인코더(GRU) | 최근 상태-행동 히스토리에서 잠재 조건 추론 | 여러 제어 단계에 걸쳐 증거 집계 |
| 변분 잠재 공간 | 숨겨진 동역학(예: 바람) 표현 | KL 발산을 통해 사전과 정렬 |
| 해석적 물리 사전 | 알려진 명목 동역학 | 강한 귀납적 편향 제공 |
| 신경 잔차 동역학 | 모델링되지 않은 효과 학습 | 잠재 코드에 조건화됨 |
| 정책 네트워크 | 최적 행동 생성 | 병렬 롤아웃을 통한 미분 가능 BPTT로 최적화 |
중요한 설계 선택: 인코더가 순환적인 이유는 단일 전이에는 풍향을 식별하기에 증거가 너무 적기 때문입니다. 변화는 여러 단계에 걸친 가속도와 자세 변화의 누적을 통해 드러납니다.
로봇 공학에서의 중요성
이 연구는 실제 환경에 로봇을 배포할 때 가장 큰 장애물 중 하나인 작동 조건이 정적이라는 가정을 다룹니다. 공장 바닥, 창고, 야외 환경은 끊임없이 변화합니다. 온도가 변하고, 페이로드가 바뀌고, 바람이 불거나 잦아듭니다. 대부분의 제어 정책은 한 번 훈련된 후 고정되어 조건이 달라지면 빠르게 성능이 저하됩니다.
로봇이 잊지 않고 지속적으로 학습하고 적응할 수 있도록 함으로써 이 프레임워크는 경험을 통해 개선되는 진정한 자율 시스템에 더 가까워집니다. 산업용 애플리케이션의 경우, 전력선을 검사하는 드론이 비행 중 다양한 풍속에 적응할 수 있습니다. 다른 하중을 운반하는 지상 로봇은 무게가 변할 때 동역학 모델을 자동으로 조정할 수 있습니다.
이 기술은 쿼드로터를 넘어 광범위하게 적용 가능합니다. 창고 로봇에서 조립을 수행하는 중고 산업용 로봇에 이르기까지 변화하는 동역학 하에서 반복적인 상호작용을 하는 모든 로봇이 혜택을 볼 수 있습니다. 변분 접근법은 로봇이 환경의 간결하고 해석 가능한 표현을 구축하여 미래 적응을 더 빠르고 샘플 효율적으로 만듭니다.
한계 및 미해결 과제
현재 하드웨어 실험은 모션 캡처의 정확한 고주파 상태 추정에 의존합니다. 온보드 시각-관성 주행 거리 측정이나 SLAM을 사용하는 실제 배포에서는 상태 추정이 노이즈가 있고 지연되며 편향될 수 있습니다. 동일한 추정이 잔차 동역학 모델을 학습하는 데 사용되므로 센서 노이즈가 모델링되지 않은 동역학으로 오인되어 잘못된 정책 업데이트로 이어질 수 있습니다. 유망한 방향은 상태 추정 신뢰도에 따라 동역학 업데이트에 가중치를 부여하고 높은 불확실성을 가진 전이를 필터링하는 불확실성 인식 지속적 학습입니다.
또한, 이 프레임워크는 쿼드로터와 관련 작업 시뮬레이션에서만 테스트되었습니다. 더 복잡한 로봇(예: 많은 자유도를 가진 휴머노이드)과 더 풍부한 외란 모델(예: 여러 상호 작용하는 외란)로의 확장은 여전히 과제로 남아 있습니다. 온라인 인코더 추론 및 정책 최적화의 계산 오버헤드는 저전력 플랫폼에서의 배포를 제한할 수 있습니다.
자주 묻는 질문
표준 적응 제어와 어떻게 다른가요? 표준 적응 제어는 일반적으로 알려진 모델 구조에 대해 소수의 매개변수를 업데이트합니다. 이 프레임워크는 잠재 변수에 조건화된 고용량 신경 잔차 모델을 학습하여 손으로 모델링하기 어려운 복잡한 비선형 외란을 포착할 수 있습니다.
로봇이 새로운 바람 조건을 학습할 때 이전 조건을 잊어버리나요? 아니요. 잠재 공간은 조건을 별개의 클러스터로 구성하므로, 로봇이 이전에 본 바람 패턴을 다시 만나면 적절한 동역학을 빠르게 인식하고 재사용할 수 있습니다. 변분 사전은 또한 잠재 분포를 정규화하여 파국적 망각을 방지합니다.
로봇이 새로운 조건에 적응하는 데 얼마나 많은 데이터가 필요한가요? 순환 인코더는 단 몇 제어 단계(몇 초의 비행) 후에 새로운 바람 조건을 식별할 수 있습니다. 그런 다음 잔차 모델은 더 많은 데이터가 축적됨에 따라 시간이 지남에 따라 개선됩니다. 실험에서 바람 전환 후 회복은 수 초 내에 발생했습니다.
이 프레임워크를 지상 로봇이나 매니퓰레이터에 사용할 수 있나요? 네. 논문에서는 엔드 이펙터 추적 및 상자 밀기 작업에 대한 시뮬레이션 결과를 보여주며, 이 방법이 연속 상태-행동 공간과 해석적 동역학 사전에 접근할 수 있는 다른 로봇으로 일반화될 수 있음을 시사합니다.
결론
변분 신경 동역학 프레임워크는 결코 학습을 멈추지 않는 로봇을 향한 실용적인 경로를 제공합니다. 물리 사전 정보와 온라인 잠재 조건화된 잔차 학습을 결합함으로써 쿼드로터가 과거 환경에 대한 지식을 유지하면서 실시간으로 변화하는 바람 조건에 적응할 수 있게 합니다. 이 접근 방식은 예측 불가능하고 역동적인 환경에 로봇을 배포하는 데 중요한 진전입니다.