더 넓게 보면, 시뮬레이션의 발전을 막아 온 것은 시뮬레이션이라는 발상 자체가 아니라 비현실적인 시뮬레이션이었으며, 이제 코딩 에이전트가 훨씬 더 뛰어난 최첨단 모델이 현실 세계에서는 불가능한 방식으로 학습할 수 있는 현실적인 시뮬레이션을 구축할 수 있다는 점을 우리의 결과가 시사합니다.
방법론
이 절에서는 문제 설정과 GDP에 근거한 시뮬레이션 선정 방식을 소개합니다. 또한 시뮬레이션 제작을 위한 다중 에이전트 전략과 각 시뮬레이션에서 난이도를 통제한 과제를 만드는 방법을 설명합니다.
과제 확장
우리가 아는 한, 좋은 과제에 대한 확립된 정의는 없습니다. 따라서 로봇 정책을 평가하고 학습시키는 데 유용하려면 과제가 충족해야 하는 여섯 가지 기준을 정의합니다.
- 의미. 과제는 현실적이고 의미 있는 작업이어야 하며, 검증 조건 체크리스트가 아니라 사람에게 설명하듯 자연스럽게 묘사되어야 합니다.
- 환경. 장면과 물체, 배치는 해당 과제에 적합해야 합니다. 예를 들어 공을 휘어 차는 프리킥에는 수비벽이 필요하고, 드리블 과제에는 콘이 필요합니다.
- 검증기의 정확성. 검증기는 결정론적이어야 하며, VLM 판정자 없이 시뮬레이션의 물리 상태를 바탕으로 계산되어야 합니다. 컵에 공을 넣는 과제에서 공 위에 컵을 씌워도 성공으로 인정하는 것과 같은 거짓 양성이 없어야 하며, 과제에서 요구하지 않았는데도 공이 컵의 정중앙에 멈춰 있어야 한다고 요구하는 것과 같은 거짓 음성도 없어야 합니다.
- 해결 가능성. 시뮬레이션과 마찬가지로, 보조 시연을 통해 과제 수행에 필요한 모든 상호작용이 물리적으로 가능함을 보여야 합니다. 과제를 처음부터 끝까지 완수할 필요는 없습니다.
- 보상 품질. 보상은 의미 있는 진척을 반영하는 연속적인 부분 점수를 제공하고, 사용한 전략과 관계없이 모든 유효한 해결책에 만점을 부여해야 합니다. 예를 들어 정리 과제에서는 각 물체를 올바른 위치에 놓을 때마다 점수를 줍니다.
- 난이도 범위. 모두 너무 쉽거나 너무 어려운 과제는 모델을 평가하거나 개선하는 데 유용한 신호를 거의 제공하지 않습니다. 따라서 더 약한 모델인 Claude Haiku 5.5와 더 강한 모델인 Claude Opus 5.5로 각 과제의 난이도를 측정하고, 두 모델 모두 다양한 성공률을 보이도록 합니다. 이로써 약한 모델과 강한 모델 모두에 유용한 난이도 단계가 마련됩니다.
최첨단 모델을 활용한 시뮬레이션 학습
현실적인 시뮬레이션은 물리적 기술을 학습하는 새로운 방법을 제공합니다. 실제 로봇을 사용하는 데 따르는 비용과 위험 없이 시뮬레이션에서 연습할 수 있습니다. 기존 연구는 주로 시뮬레이션을 이용해 과제별로 수백만 회의 시행을 거치는 강화 학습으로 소규모 정책을 학습시킵니다. 최첨단 모델은 과제를 추론하고, 코드를 작성하고, 하나의 컨텍스트 안에서 피드백을 바탕으로 개선할 수 있으므로 다른 방식으로 학습할 수 있습니다. 이에 따라 최첨단 모델이 시뮬레이션에서 학습하는 방법과, 학습한 내용을 실제 로봇을 제어하는 모델 및 정책에 전달하는 방법을 연구합니다.
시뮬레이션은 즉시 초기화할 수 있으므로, 최첨단 모델은 가중치를 업데이트하지 않고도 하나의 컨텍스트 안에서 같은 과제를 반복 시도하며 자신의 실패를 통해 개선할 수 있습니다. 각 시도가 끝나면 시뮬레이션을 동일한 초기 상태로 되돌리고, 에이전트는 이전 시도의 관찰 내용과 코드, 메모를 유지한 채 같은 대화와 작업 공간에서 계속합니다. 세 시간씩 세 차례 시도합니다. 실제 상태 정보의 가치를 측정하기 위해 접근이 제한된 에이전트와 특권 접근 권한이 있는 에이전트를 비교합니다. 후자는 각 시도 중에 시뮬레이터의 상태도 읽을 수 있습니다.
결론
더 넓게 보면, 시뮬레이션의 발전을 막아 온 것은 시뮬레이션이라는 발상 자체가 아니라 비현실적인 시뮬레이션이었으며, 이제 코딩 에이전트가 훨씬 더 뛰어난 최첨단 모델이 현실 세계에서는 불가능한 방식으로 학습할 수 있는 현실적인 시뮬레이션을 구축할 수 있다는 점을 우리의 결과가 시사합니다. Gym-Anything for Robotics와 RoboWorld, 그리고 공개된 코드는 더 뛰어난 체화형 에이전트, 특권 상태를 활용한 새로운 학습 방법, 물리적 작업에 대한 폭넓은 범위 등을 포함해 현실적인 로봇 학습을 위한 향후 연구의 기반이 되기를 바랍니다.
자주 묻는 질문
유용한 과제를 정의하는 기준은 무엇인가요? 과제는 의미, 환경, 검증기의 정확성, 해결 가능성, 보상 품질, 난이도 범위라는 여섯 가지 기준을 충족해야 합니다.
과제 난이도는 어떻게 측정하나요? 저자들은 Claude Haiku 5.5와 Claude Opus 5.5로 각 과제를 평가해 두 모델 모두 다양한 성공률을 보이도록 합니다.
최첨단 모델은 시뮬레이션에서 어떻게 연습하나요? 같은 초기 상태에서 여러 차례 시도하며, 이전 시도의 관찰 내용과 코드, 메모를 같은 대화와 작업 공간에 유지합니다.
연습 시도는 몇 번이며, 각 시도는 얼마나 오래 진행되나요? 연구에서는 세 차례 시도하며, 각 시도는 세 시간 동안 진행됩니다.