Skild AI는 로보틱스 파운데이션 모델 S1을 시뮬레이션에서 셀프플레이로 축구를 하도록 훈련한 뒤, 그 결과로 얻은 정책을 실물 휴머노이드에 이전했다고 Roboticsandautomationnews가 처음 보도했다. Skild는 이 접근법이 언젠가 로봇이 사람이 모든 동작을 시연하지 않아도 점점 복잡한 기술을 습득하도록 도울 수 있다고 밝혔다. 이번 실물 시연에서는 축구를 했다.
Skild는 Nvidia Isaac Sim에서 환경을 만들고 정책에 골을 넣으라는 목표 하나만 부여했다. 드리블이나 태클, 넘어지고 난 뒤 일어나는 동작을 지정하는 대신, 정책이 점점 더 능숙해지는 자기 자신과 경쟁하도록 했다.
시뮬레이션 초기 몇 달 동안 로봇은 거의 걷지도 못했지만, 이후 넘어져도 다시 일어나고, 수비수를 피해 드리블하고, 공을 지키고, 상대를 태클하는 법을 익혔다. Skild에 따르면 이러한 행동은 각각 별도로 설계한 보상이 아니라 득점 목표에서 비롯됐다.
시뮬레이션으로 140년이 넘는 경기를 진행한 뒤 Skild는 결과로 얻은 정책을 실물 휴머노이드에 이전해 축구 경기를 시연했다. 축구에는 이동, 조작, 물리적 교란에서 회복하는 능력, 상대와의 전략적 상호작용이 결합된다.
이번 연구는 Skild가 8월에 공개한 S1의 사후 학습 확장이다. S1은 사람의 동영상, 장갑 데이터, 시뮬레이션, 원격조작 데이터를 사용해 사전 학습되며, 문맥 내 시연을 통해 작업을 익히도록 설계됐다.
Skild는 주로 사람이 생성한 데이터로 학습한 모델은 해당 데이터에 담긴 역량에 제약을 받지만, 물리적 셀프플레이를 활용하면 로봇이 인간의 역량을 뛰어넘을 수 있다고 주장한다. 이번 사례에서는 S1의 혼합 데이터 사전 학습과 정책의 후속 셀프플레이 학습이 서로 다른 단계로 이뤄졌다.
Skild는 이 접근법을 이미 일상적인 로보틱스 작업으로 확장하고 있다고 밝혔다. 회사에 따르면 초기 4개 에이전트 축구 실험에서 패스와 협응이 나타나기 시작했으며, 향후에는 상호작용하는 로봇의 수를 늘리면서 협동 조작과 내비게이션을 연구할 예정이다.