네 발 달린 로봇이 자연스럽게 걷도록 가르치려면 보통 엔지니어가 수십 개의 맞춤형 보상 규칙을 일일이 조정해야 합니다. 그런데 이제 연구자들이 Unitree Go2 로봇이 단 두 가지 규칙만으로도 걷는 법을 배울 수 있는 방법을 선보였습니다. 프로그래밍 노력을 90% 이상 줄이면서도 전통적인 방식에 뒤지지 않는 자연스러운 보행을 구현합니다.
MPC-Injection이란?
MPC-Injection은 4족 보행 로봇이 걷는 법을 학습하는 방식을 획기적으로 단순화하는 새로운 기술입니다. 핵심 문제는 로봇이 강화 학습(RL) — 시행착오 방식의 훈련 방법 — 을 통해 보행을 학습할 때, 다리를 떨거나 몸통을 끄는 등 기괴하고 쓸모없는 보행이 자주 나온다는 점입니다. 이는 로봇이 일반적인 목표("앞으로 이동")에 최적화되면서 목표는 달성하지만 걷기처럼 보이지 않는 이상한 지름길을 찾기 때문입니다.
이를 방지하기 위해 엔지니어들은 전통적으로 수십 개의 보상 항목 — 로봇의 행동을 구체화하는 규칙 ("몸통을 수평으로 유지", "발을 이만큼 들어 올려", "엉덩이를 너무 많이 돌리지 마") — 을 설계합니다. 이 규칙을 올바르게 만드는 데는 전문 프로그래머가 몇 주를 시행착오에 쏟아야 합니다.
MPC-Injection은 그러한 노력을 거의 모두 없앱니다. 이 기술은 모델 예측 제어기(MPC) — 실시간으로 동작 방정식을 풀지만 항상 실행하기에는 계산 비용이 많이 드는 사전 프로그래밍된 시스템 — 로부터 좋은 보행 행동을 가져옵니다. MPC는 자연스러운 보행의 짧은 조각을 생성합니다. 이 조각들이 로봇의 훈련 메모리( 리플레이 버퍼 )에 "주입"되면, RL 알고리즘이 이를 모방하여 학습할 수 있습니다. 로봇은 복잡한 보상 시스템 없이도 자연스럽게 MPC가 선호하는 보행 쪽으로 끌리게 됩니다.
보상 설계가 얼마나 간단해졌나?
숫자가 명확하게 보여줍니다. 전통적인 보상 설계는 일반적으로 21개의 개별 조정된 보상 항목 — 각각 고유한 가중치와 임계값 — 을 필요로 합니다. MPC-Injection은 1~2개의 작업 관련 보상 항목만으로 비슷한 결과를 얻습니다.
| 방법 | 보상 항목 수 | 엔지니어링 노력 | 보행 품질 |
|---|---|---|---|
| 전통적 보상 설계 | 21 | 수 주간 튜닝 | 높음 |
| MPC-Injection | 1–2 | 며칠 설정 | 높음 |
| 순수 RL (보상 없음) | 0 | 없음 (그러나 실패) | 쓸모없음 |
MPC-Injection의 1~2개 항목은 "원하는 방향으로 이동"과 "몸통을 똑바로 유지" 같은 간단한 것입니다. 보행 패턴을 강제할 필요가 없습니다. 주입된 MPC 전환이 자동으로 처리합니다.
arXiv 논문에 따르면, "MPC-Injection은 1~2개 항목의 작업 보상을 사용하여 정책을 제어기의 행동 영역으로 밀어 넣어, 21개 조정된 항목을 사용한 보상 설계와 질적으로 비슷한 보행을 생성합니다." 즉, 엔지니어가 모든 제약 조건을 명시하지 않아도 로봇이 복잡하고 자연스러운 보행을 학습합니다.
실제 로봇이 더 잘 걷나?
연구자들은 MPC-Injection을 시뮬레이션과 실제 Unitree Go2 4족 로봇에서 모두 테스트했습니다. 시뮬레이션에서는 2D 워커 모델을 사용해 방법을 검증했습니다. 그런 다음 훈련된 정책을 실제 Go2로 전송했습니다 — 시뮬레이션이 현실과 일치하지 않으면 자주 실패하는 시뮬레이션-현실 전환(sim-to-real) 입니다.
결과: Go2는 최고의 보상 설계 정책과 "질적으로 비슷한" 자연스럽고 안정적인 보행을 보였습니다. 순수 RL에서 흔한 떨림이나 끌기 행동이 나타나지 않았습니다. 이 방법은 별도의 AI 모델(판별기)과 복잡한 모션 캡처 데이터가 필요한 적대적 모방 학습 접근법의 오버헤드도 피했습니다.
MPC-Injection은 운동학적 재타겟팅 — 인간의 모션 캡처 데이터를 로봇의 특정 관절 구조에 매핑하는 지루한 과정 — 도 필요하지 않습니다. MPC가 로봇 자체 좌표계에서 직접 동작을 생성하므로 변환이 필요 없습니다.
| 접근법 | 추가 구성 요소 | 데이터 요구 사항 | 보행 품질 |
|---|---|---|---|
| 보상 설계 | 보행에 대한 전문 지식 | 없음 (수동 규칙 설계) | 높음 |
| 적대적 모방 학습 | 판별기 모델, 모션 캡처 | 수 시간의 인간/데모 데이터 | 매우 높음 |
| MPC-Injection | MPC 솔버 (가벼움) | 없음 (MPC가 동작 생성) | 높음 |
논문은 또한 이론적 통찰을 제공합니다. MPC 전환을 주입하면 액터-크리틱 업데이트(로봇이 행동을 개선하는 데 사용하는 수학)를 MPC가 선호하는 상태로 편향시킵니다. 이렇게 하면 단순한 보상 함수만으로는 나쁜 보행을 처벌할 수 없을 때에도 로봇이 "행동 영역" — 좋은 보행 영역 — 에 머물게 됩니다.
4족 보행 로봇 구매자에게 의미하는 바는?
Unitree Go2, Boston Dynamics Spot, Ghost Robotics Vision 60 같은 4족 보행 로봇을 사용하거나 평가하는 조직에게 MPC-Injection은 직접적인 실용적 의미를 갖습니다:
배포 노력 감소. 로봇이 21개 대신 1~2개의 보상 항목만 필요하다면 프로그래밍 부담이 크게 줄어듭니다. 몇 주간 RL 전문가를 고용하는 대신 일반 엔지니어가 며칠 만에 새로운 보행 동작을 설정할 수 있습니다. 이는 검사, 보안, 연구 팀이 4족 로봇을 더 쉽게 활용할 수 있게 합니다.
쉬운 맞춤화. 다양한 환경은 서로 다른 보행 스타일을 요구합니다 — 잔해에서 조심스러운 발걸음, 평지에서 빠른 속보, 좁은 복도에서 옆으로 게걸음 등. 전통적인 방법은 각 모드마다 재조정이 필요합니다. MPC-Injection을 사용하면 사용자는 기본 MPC 모듈만 교체하고 동일한 간단한 보상 함수를 유지할 수 있어 반복 시간이 크게 단축됩니다.
상용 제품(COTS) 가능성. 4족 로봇 제조사가 이 방법을 채택하면 향후 SDK에 플러그 앤 플레이 방식의 보행 맞춤화 기능이 포함될 수 있습니다. 구매자는 저수준 보상 항목을 건드리지 않고 속도, 신중함, 안정성 마진 같은 고수준 매개변수만으로 보행 동작을 조정할 수 있습니다.
Robot Overflow에서 판매 중인 4족 보행 로봇을 살펴보고 단순화된 프로그래밍의 혜택을 받을 수 있는 플랫폼을 비교해 보세요.
자주 묻는 질문
MPC-Injection을 쉽게 설명하면? 훈련 중에 로봇에게 소수의 예시 보행 동작(간단한 사전 프로그래밍된 제어기가 생성)을 제공하는 방법입니다. 로봇이 그 예시를 모방하여 학습하므로, 행동을 강제하는 수십 개의 복잡한 규칙 없이도 자연스럽게 잘 걷게 됩니다.
MPC-Injection은 몇 개의 보상 항목을 사용하나요? 전통적인 보상 설계에 필요한 21개 항목과 비교해 단 1~2개의 작업 보상 항목만 사용합니다. 이는 엔지니어링 노력을 약 90% 줄여줍니다.
로봇이 전통적인 방법만큼 잘 걷나요? 네. 연구자들은 MPC-Injection으로 생성된 보행이 "질적으로 비슷하다"고 보고합니다. Unitree Go2에서 자연스러운 보행이 최고 대안과 일치했습니다.
어떤 유형의 로봇이 MPC-Injection을 사용할 수 있나요? 논문에서는 2D 시뮬레이션 워커와 Unitree Go2 4족 로봇에서 시연했습니다. 이 방법은 일반적이며 강화 학습을 보행에 사용하는 모든 다리 달린 로봇(인간형 로봇, 6족 로봇 포함)에 적용 가능해야 합니다.
MPC-Injection에 값비싼 하드웨어나 모션 캡처 데이터가 필요한가요? 아니요. MPC 자체는 일반 CPU에서 실행되는 가벼운 계산입니다. 모션 캡처 카메라, 슈트, 사전 녹화된 인간 데이터가 필요 없습니다. MPC가 로봇의 특정 설계에 맞춰 자동으로 동작을 생성합니다.
MPC-Injection과 모방 학습의 차이는? 더 간단합니다. 모방 학습은 종종 판별기 모델과 대규모 전문가 시연 데이터셋을 필요로 합니다. MPC-Injection은 판별기, 보조 훈련 목표, 운동학적 재타겟팅이 없으며, MPC 솔버의 주입된 전환만 있으면 됩니다.
결론
MPC-Injection은 4족 보행 로봇의 자연스러운 보행 프로그래밍을 훨씬 쉽게 만드는 중요한 진전입니다. 필요한 보상 항목을 21개에서 1~2개로 줄임으로써 보행 품질을 유지하면서 엔지니어링 시간을 대폭 단축합니다. 보행 로봇을 평가하는 구매자와 통합업체에게 이는 신뢰할 수 있고 맞춤화 가능한 보행을 배포하는 장벽을 낮추며, 강화 학습 방법이 실제 하드웨어에서 어떻게 진화하는지 주목해야 할 또 하나의 이유입니다.