작업 성공 신호가 극히 드문 경우 저수준 로봇 제어 정책을 학습하기가 어렵습니다. 탐색 과정에서 성공적인 궤적을 만나기 전에 실패 궤적이 많이 생성될 수 있어, 유용한 행동을 구별하거나 어떤 동작이 중요한지 파악할 피드백이 부족해집니다. 예를 들어 로봇은 조립을 완료하기 전에 여러 동작을 조율해야 하거나, 물체를 타격해 멀리 있는 목표 지점에 도달하게 해야 할 수 있습니다. 동작 순서와 타이밍, 동시 충족 조건까지 더해지면 성공적인 궤적의 범위는 더욱 좁아집니다.
이러한 성공 신호가 드문 작업에서는 실패 궤적에서 얻는 유익한 피드백이 실제 학습 효율을 높이는 데 필수적입니다. 그렇지 않으면 정책 개선은 성공적인 탐색이 드물게 일어날 때까지 기다려야 합니다. 신호 시간 논리(STL)는 실수값 신호에 대한 논리적·시간적 요구사항을 명세합니다. STL의 강건성 의미론은 이진 신호 대신 궤적이 성공에 얼마나 근접했는지를 정량적으로 측정합니다.
이 계산을 분산하기 위해, 이전 연구에서는 STL 강건성을 보상으로 사용하는 피드백 정책을 학습했습니다. 그러나 이 방식에서는 시간적 신용 할당을 탐색에 맡기며, 미분 가능한 예측 제어기도 여전히 온라인 궤적 예측과 백업 메커니즘에 의존합니다. 이러한 한계는 실패한 롤아웃도 유용한 학습 신호로 삼을 수 있도록 궤적 수준의 강건성을 미분해 저수준 피드백 정책을 학습할 필요성을 보여 줍니다.
이 연구의 목표는 STL 작업 명세를 사용해 실패한 롤아웃에서도 개선 신호를 제공하고, 이를 통해 성공 신호가 드문 작업을 위한 저수준 로봇 제어 정책을 학습하는 것입니다. 실험에서 이 프레임워크는 6개 벤치마크 중 5개에서 조밀한 보상으로 보상 형상을 설계한 강화학습 기준선들보다 가장 높은 평균 성공률을 달성했습니다. 시뮬레이션에서 STL-SVPG로 학습한 정책은 실제 하드웨어로 제로샷 전이도 가능합니다.
주요 기여는 다음과 같습니다.
- STL-SVPG: 전체 작업 요구사항을 저수준 피드백 제어를 위한 실행 가능한 정책 그래디언트로 변환하는 명세 기반 정책 학습 프레임워크로, 실패 궤적도 학습에 활용합니다.
- 정책 파라미터 집단 간 정보를 공유해 작업 지향적 개선과 집단 기반 탐색을 결합하는 정책 최적화 방법.
- STL 강건성 그래디언트가 개선을 유도하는 방식과 집단 상호작용이 탐색 범위를 넓혀 더 나은 정책을 찾는 방식을 분석합니다.
- 시뮬레이션만으로 학습한 STL-SVPG 정책을 실제 환경의 두 작업에서 검증합니다.
관련 연구
작업 성공 신호가 드문 환경에서의 학습은 보상 형상화, 명시적인 작업 진행도 표현 또는 정량적 명세를 통해 지원할 수 있습니다. 이 논문은 기여의 맥락을 설명하기 위해 각 방향의 기존 연구를 다룹니다.
스타인 변분 경사 하강법
업데이트 방향의 두 요소는 기대 점수가 더 높은 영역으로 입자를 끌어당기는 인력으로, 커널 값은 입자 간 정보 공유를 가능하게 합니다. 다른 하나는 모드 붕괴를 막는 척력입니다.
실험 설정
실험에서는 서로 다른 두 가지 로봇 플랫폼에서 성공 신호가 드문 작업을 선정합니다. 이 작업에는 연속 제어와 순서가 지정된 동작, 이벤트에 의해 트리거되는 반응, 물리적 접촉에 기반한 결과가 포함됩니다. 이 시나리오를 통해 성공 신호가 극히 드물어지는 논리적·시간적 명세를 충족하면서 알고리즘이 성공적인 물리적 행동을 학습할 수 있는지 평가합니다.
학습 알고리즘은 주로 Crazyflie 플랫폼에서 테스트하며, 추가 실험에서는 같은 알고리즘이 Franka Emika Panda 매니퓰레이터에도 일반화됨을 보입니다.
로봇 시뮬레이션
Crazyflie 강체 동역학은 MuJoCo MJX에서 시뮬레이션하며, 캐스케이드형 각속도 PID 제어기, 1차 모터 동역학, 로터에 따른 공기역학적 항력을 사용합니다. 시뮬레이션의 동작은 정규화된 총추력 및 각속도 명령이며, 100 Hz로 입력됩니다. 제어와 물리 시뮬레이션은 500 Hz로 실행됩니다.
Panda 환경은 MuJoCo에서 제공하는 7관절 모델을 정기구학과 제한된 관절 속도 제어에 사용합니다. 관절 위치는 5 ms 간격으로 적분하며, 각 동작은 5단계 동안 유지되어 제어 간격은 25 ms입니다.
작업
Crazyflie는 잠금 해제를 위해 0.6 seconds 동안 영역 A에 머물러야 하며, 잠금 해제 후 2 seconds 이내에 영역 Q에 진입한 뒤 10 seconds 이내에 홈 영역 H로 돌아와야 합니다. 활성화 전에 Q에 진입하는 것은 금지됩니다.
안전 조건을 충족하려면 월드 경계 안에 머물러야 합니다. 2-second 진입 마감 시간은 체류 시간이 끝나는 시점부터 시작됩니다.
평가 프로토콜
성능은 작업 전체의 성공 여부로 측정합니다. 전체 작업 명세의 정확한 강건성이 양수일 때 롤아웃을 성공으로 간주합니다. 각 주요 벤치마크에서 서로 독립적인 6개의 학습 시드로 학습한 정책을 공통의 홀드아웃 초기 조건 1,000개에서 평가합니다. 보고된 값은 학습 시드에 따른 평균 성공률과 표본 표준 편차입니다.
정책 평가는 결정론적 동작을 사용하며, TD-MPC2는 평가 모드 플래너를 사용합니다. Branching 연구에서는 대안적인 성공 경로의 포괄 범위를 측정하기 위해 정책 집단도 평가합니다.
결과
실험에서는 다음 질문을 다룹니다.
- STL-SVPG는 성공 신호가 극히 드문 작업을 위한 정책을 학습할 수 있는가?
- 조밀한 보상과 비교할 때 STL 강건성을 직접 최적화하면 어떤 이점이 있는가?
- 정책 집단을 유지하는 것이 얼마나 기여하는가?
- STL-SVPG는 다중 모드 작업 해법을 학습하는가?
- 시뮬레이션에서 학습한 정책이 실제 로봇으로 전이되는가?
다양한 성공 정책 집단
제안한 알고리즘이 여러 해법을 학습하는지 시각화하기 위해 Branching 작업을 사용합니다. STL-SVPG는 다양한 성공 해법으로 구성된 집단을 학습하며, 6회 실행 모두에서 Branching 경로 두 가지를 유지합니다.
홀드아웃 초기 조건 128개에서 최종 선택 정책의 평균 성공률은 99.65%입니다. 집단 내 모든 정책을 살펴보면 입자 64개 중 평균 34개는 A–C 경로, 30개는 B–D 경로를 선택합니다. 따라서 높은 작업 성공률과 구별되는 일관된 실행 전략이 함께 나타납니다.
Crazyflie의 시뮬레이션-실제 전이
Crazyflie Random Cue 및 Ping-pong 작업을 실제 하드웨어에서 테스트합니다. Ping-pong은 공과의 물리적 접촉이 필요하므로, 브러시리스 버전의 Crazyflie에 3D 프린팅 케이지를 부착합니다.
새로운 배포 정책은 업데이트된 장면 및 드론 케이지 형상과 브러시리스 모터 동역학을 사용해 학습합니다. Ping-pong에서는 공이 상자를 모사한 목표물의 윗면을 통해 들어와야 성공으로 간주하도록 작업 성공 조건도 변경합니다. 접촉 물리의 예측 가능성이 낮아지고 성공 조건이 엄격해져 Ping-pong의 시뮬레이션 성공률은 크게 감소합니다. 발사기로 공을 던지고 RealSense 깊이 카메라로 궤적을 추적합니다.
감사의 글
OpenAI Codex는 원고의 비기술적 부분을 더 명확하게 다듬고 실험 코드 및 플로팅 구현을 지원하는 데 사용되었습니다. 모든 기술적 내용, 실험 설계, 결과와 결론은 저자들이 개발하고 검증했으며 세심하게 검토했습니다.
자주 묻는 질문
STL-SVPG는 무엇을 위해 설계되었나요? 신호 시간 논리 작업 명세를 사용해 실패한 궤적에서도 저수준 로봇 제어를 위한 정책 그래디언트를 생성합니다.
STL 강건성은 성공 신호가 드문 상황에 어떻게 도움이 되나요? STL 강건성은 성공 여부를 이진 신호로만 나타내는 대신, 궤적이 성공에 얼마나 근접했는지를 정량적으로 측정합니다.
실험에는 어떤 로봇 플랫폼이 포함되나요? 실험에서는 주로 Crazyflie를 사용하며 Franka Emika Panda 매니퓰레이터도 포함합니다.
Branching 작업의 정책 집단 연구는 무엇을 보여 주나요? 6회 실행에서 정책 집단은 두 경로를 모두 유지하며, 입자 64개 중 평균 34개가 A–C 경로, 30개가 B–D 경로를 선택합니다.