시뮬레이션에서 학습하고 하드웨어로 전이하는 로봇 추론 모델

시뮬레이션에서 학습하고 하드웨어로 전이하는 로봇 추론 모델

Jiaming Tang, Zhuoyang Zhang, Junxian Guo, Fangzhou Zhao, Yilong Zhao +6개 더

6 분 읽기•2026년 11월 16일

오픈 웨이트 27-billion-parameter 추론 모델이 시뮬레이션에서 로봇 기술을 학습한 뒤, 한 번도 학습에 사용된 적 없는 실제 양팔 로봇에서 30회 중 18회 성공했습니다. 이 접근법은 역기구학과 동작 제어를 언어 모델 외부에 두어, 동일한 포즈 기반 동작 인터페이스가 시뮬레이션된 단일 팔 및 양팔 플랫폼에서 실제 하드웨어까지 이어지도록 하며 실제 로봇을 이용한 미세 조정은 필요하지 않습니다.

목차

연구진은 무엇을 만들었나?

연구진은 시뮬레이션에서 강화학습을 통해 로봇을 사용하는 추론 모델을 훈련했습니다. 모델이 모터를 직접 제어하는 대신, 시스템은 로봇의 말단장치—그리퍼처럼 팔 끝에 달린 부분—가 취할 목표 포즈를 선택하도록 합니다. 별도의 로봇 컨트롤러가 이 목표를 실제로 도달하는 데 필요한 관절 움직임으로 변환합니다.

이러한 분리 덕분에 여러 기계에서 공통으로 사용할 수 있는 동작 인터페이스가 마련됩니다. 연구진은 단일 팔 Franka 로봇과 양팔 ARX 로봇을 이용한 시뮬레이션 작업으로 모델을 훈련한 다음, 훈련된 모델을 실제 양팔 YAM 로봇에 적용했습니다. 각 기계에 맞춰 프롬프트에는 로봇의 부품, 좌표계, 카메라에 관한 설명을 담습니다. 로봇에 이미 탑재된 역기구학 소프트웨어와 컨트롤러가 실제 움직임을 처리합니다.

모델은 오픈 웨이트 추론 모델인 Qwen3.8-27B를 기반으로 시작했습니다. 훈련에는 사람이 로봇을 조작하는 시연이 아니라 시뮬레이션 작업의 결과를 사용했습니다. 연구진이 핵심적으로 검증한 것은 시뮬레이션에서 배운 기술을 모델이 연습하지 않은 작업뿐 아니라 다른 시뮬레이터와 실제 로봇에도 전이할 수 있는지였습니다. 실제 로봇에 적용할 때 실제 로봇 데이터로 추가 훈련할 필요가 없었다고 보고했습니다.

로봇 사용 모델의 훈련 및 평가 과정 개요

모델은 어떤 성과를 거뒀나?

가장 두드러진 결과는 실제 YAM에서의 제로샷 적용입니다. 최종 모델은 30회 중 18회 성공했지만, 기본 모델은 한 번도 성공하지 못했습니다. LIBERO 시뮬레이션만으로 훈련한 모델 체크포인트는 해당 작업이나 로봇을 접한 적이 없는데도 실제 로봇 시험에서 30회 중 7회 성공했습니다. 여기서 ‘제로샷’이란 새 로봇에서 추가 훈련을 하지 않고 모델을 시험했다는 뜻입니다.

모델은 시뮬레이션 환경 간에도 기술을 전이했습니다. LIBERO만으로 훈련한 뒤 RoboDojo의 일반 물체 집기 작업에서 39.9%, 블록 정렬 작업에서 17.0%의 성공률을 기록했습니다. 기본 모델의 성공률은 각각 10.7%와 13.0%였습니다. RoboDojo 작업을 추가로 훈련하자 해당 작업 전반의 보고된 성공률은 75.0%에 이르렀습니다.

평가기본 모델훈련된 모델달라진 점
실제 양팔 YAM 시험0/3018/30최종 모델을 실제 로봇 훈련 없이 시험
실제 YAM 시험, LIBERO만 학습한 체크포인트—7/30시뮬레이션에서 접하지 못한 하드웨어로 전이
RoboDojo 일반 물체 집기, LIBERO만 학습10.7%39.9%다른 시뮬레이터와 로봇으로 전이
RoboDojo 블록 정렬, LIBERO만 학습13.0%17.0%다른 시뮬레이터와 로봇으로 전이
직접 훈련하지 않은 LIBERO-Long0.4%39.0%다른 LIBERO 작업 모음에서 학습한 기술의 전이
훈련에 추가한 LIBERO-Long—53.2%작업 모음을 직접 경험하며 훈련

다른 측정 능력은 크게 저하되지 않았습니다. 모델은 AIME에서 98.5점, GPQA Diamond에서 89.7점, LiveCodeBench에서 88.4점을 기록했으며, 시험한 모든 비전 벤치마크에서 기본 모델과의 점수 차이를 2점 이내로 유지했습니다.

시뮬레이션에서 로봇으로 이어지는 시스템은 어떻게 작동하나?

모델은 작업, 로봇의 형태, 카메라 시야를 설명하는 프롬프트를 받습니다. 그런 다음 무엇을 할지 추론하고 말단장치의 목표 포즈를 출력합니다. 목표는 그리퍼를 어디에, 어떤 방향으로 놓아야 하는지를 지시하는 것으로, 개별 모터에 명령을 계속 보내는 방식은 아닙니다. 별도의 역기구학 시스템이 관절 위치를 계산하고, 로봇 컨트롤러가 팔을 목표 위치로 이동시킵니다.

이 인터페이스가 로봇 간 기술 전이의 핵심입니다. 동작 형식은 그대로 유지하고, 프롬프트만 로봇의 부품과 좌표계에 맞춰 바꿉니다. 컨트롤러도 모델 외부에 둡니다. 원칙적으로 로봇이 포즈 목표를 받아들일 수 있고 적절한 컨트롤러를 갖추고 있다면, 같은 훈련 정책을 서로 다른 로봇 하드웨어에서 사용할 수 있습니다.

훈련에는 각 에피소드의 성공 또는 실패를 나타내는 이진 결과를 활용한 강화학습이 사용됩니다. 훈련 초반에는 성공적인 에피소드가 드물기 때문에 많은 작업에서 유용한 학습 신호를 얻기 어렵습니다. 이를 해결하기 위해 연구진은 커리큘럼을 적용했습니다. 먼저 LIBERO의 Goal, Spatial, Object 작업 모음으로 훈련하고, 이후 LIBERO의 네 가지 작업 모음 전체를 포함한 뒤 RoboDojo 작업 두 가지를 추가했습니다. 더 쉽거나 학습하기 쉬운 작업에서 얻은 기술은 모델이 어려운 작업에서도 성공하기 시작하도록 도왔고, 그 결과 강화학습으로 성능을 높이는 데 쓸 사례가 늘어났습니다.

이 접근법에는 의도적인 절충이 있습니다. 모델은 여러 단계의 동작 시퀀스 대신 한 번에 포즈 하나를 선택합니다. 인터페이스는 단순해지지만, 복잡한 동작에는 추론과 움직임을 여러 차례 반복해야 할 수 있습니다.

실제 양팔 로봇을 조작하는 훈련된 모델

로봇공학에서 이 연구는 왜 중요한가?

로봇을 직접 훈련하는 데는 비용과 시간이 많이 들곤 합니다. 실제 하드웨어에서 실패할 때마다 작업자의 시간과 장비 가동 여력을 소모하고, 때로는 교체 부품까지 필요하기 때문입니다. 이 연구는 학습은 시뮬레이션에서 진행하고, 기존 컨트롤러가 모델의 상위 수준 결정을 로봇 동작으로 변환하는 방식을 시험합니다. 실제 로봇에서 거둔 성과는 모델이 훈련 중 접하지 않은 하드웨어에서도 시뮬레이션 훈련을 통해 유용한 동작을 만들어낼 수 있음을 시사합니다.

공통 포즈 목표 인터페이스는 로봇 사용 모델을 여러 플랫폼에서 재사용하기 쉽게 만들 수도 있습니다. 구매자나 엔지니어링 팀은 여전히 정확한 로봇 설명, 카메라 정보, 신뢰할 수 있는 제어 소프트웨어를 제공해야 하지만, 로봇마다 새로 훈련할 필요는 없을 수 있습니다. 이는 서로 다른 하드웨어로 구성된 로봇 운용 체계를 검토하는 조직에 실질적으로 중요한 차이입니다.

이번 결과는 완성된 도입 지침이 아니라 초기 시연입니다. 실제 환경에서의 시험 횟수는 제한적이고, 성능은 세부적인 프롬프트에 좌우되며, 컨트롤러가 팔을 움직이기 전에 매 동작마다 추론이 필요했습니다. 그럼에도 이 연구는 로봇 플랫폼을 비교하고 시뮬레이션 중심 개발을 계획하는 팀에 유용한 참고 사례를 제공합니다. 하드웨어를 검토하는 팀은 판매 중인 중고 로봇 둘러보기도 이용할 수 있습니다.

한계와 남은 질문은 무엇인가?

훈련에 사용된 시뮬레이터는 두 개뿐이고 작업 수도 적었으며, RoboDojo 작업은 두 개에 불과했습니다. 연구진은 주로 GPU 자원 부족으로 규모 확장을 중단했으며, 모델은 27-billion-parameter 기반 모델에서 시작했습니다. 아직 이 접근법이 다양한 로봇과 환경, 일상적인 운용 조건에서 얼마나 잘 작동하는지는 결과로 입증되지 않았습니다.

작업 수행 속도도 느립니다. 추론 한 번에 평균 약 4.3초가 걸리고, 일부 추론 시퀀스는 32,000 tokens에 이르러 한 번 움직이는 데 30초가 넘게 걸리기도 합니다. 모델은 한 번에 포즈 하나씩 동작하므로 복잡한 움직임에는 추가 추론이 필요합니다. 성공 여부는 로봇과 작업을 명확히 설명하는 프롬프트에도 크게 좌우됩니다. 마지막으로 컨트롤러의 품질도 중요합니다. 움직임이 부정확하면 팔이 모델이 지정한 목표 포즈에 도달하지 못할 수 있습니다.

자주 묻는 질문은 무엇인가?

모델은 실제 로봇 데이터를 이용해 훈련했나요? 아니요. 보고된 실제 로봇 시험에는 시뮬레이션으로 훈련한 모델을 사용했으며, 실제 로봇 데이터를 이용한 추가 훈련은 없었습니다.

모델은 무엇을 출력하나요? 로봇 말단장치의 목표 포즈를 출력합니다. 별도의 역기구학 시스템과 컨트롤러가 이 목표를 로봇 움직임으로 변환합니다.

모델은 한 번도 훈련에 사용되지 않은 로봇에서도 작동했나요? 네. 최종 모델은 훈련에 포함되지 않았던 실제 양팔 YAM에서 시험을 받았으며, 30회 중 18회 성공했습니다.

주요 절충점은 무엇인가요? 모델은 모터를 직접 제어하지 않고도 시뮬레이션 로봇과 실제 로봇 사이에서 기술을 전이할 수 있지만, 포즈 단위 동작마다 먼저 추론하므로 작업이 느려질 수 있습니다.

실질적인 시사점은 무엇인가?

시뮬레이션으로 훈련한 추론 모델은 일관된 포즈 기반 인터페이스와 결합하면 익숙하지 않은 작업, 시뮬레이터, 실제 하드웨어로 유용한 로봇 기술을 전이할 수 있습니다. 결과는 고무적이지만, 실용적으로 도입하려면 동작 속도 향상, 더 폭넓은 작업 범위, 프롬프트 의존성 완화가 여전히 중요합니다.