AMP1은 범용 AI 모델이 로봇 조작에 지속적으로 참여하도록 합니다. 모델은 Python 코드를 작성하고, 카메라 이미지를 살펴본 뒤, 작업이 진행됨에 따라 계획을 수정합니다. RoboLab-120에서 테스트한 모델 중 가장 높은 성능을 보인 모델은 작업 성공률 85.6%를 기록했습니다. 또한 시스템은 물체 아래를 탐색하거나 손목 카메라를 보정하는 등 실행 프레임워크에 미리 탑재되지 않은 행동도 보여주었습니다.
목차
- 연구진은 무엇을 만들었나요?
- AMP1의 성능은 어땠나요?
- 에이전트형 조작 정책은 어떻게 작동하나요?
- 이 연구가 로봇공학에서 중요한 이유는 무엇인가요?
- 한계와 미해결 질문은 무엇인가요?
- 에이전트형 조작에 대해 알아야 할 점은 무엇인가요?
- 실질적인 시사점은 무엇인가요?
연구진은 무엇을 만들었나요?
연구진은 범용 AI 모델을 로봇 제어 루프에 포함하는 소프트웨어 시스템 AMP1을 개발했습니다. 정해진 잡기나 놓기 기술 중 하나를 선택하는 대신, 모델은 장면을 살피고 로봇에 명령을 내리는 Python 코드를 작성합니다. 모델은 이미지, 출력된 정보, 오류 등 코드 실행 결과를 받아 다음 행동을 결정하는 데 활용합니다.
시스템의 Python 환경은 각 작업이 끝날 때까지 계속 활성화되어 있습니다. 따라서 모델은 차례가 바뀌어도 변수와 함수를 유지하고, 앞서 수행한 계산을 재사용하며, 일련의 행동을 구성할 수 있습니다. 이미지를 추가로 요청하거나 로봇 상태를 조회하는 것도 가능합니다. 행동이 실패하면 실행 프레임워크가 오류를 알려주므로, 모델은 그대로 멈추는 대신 복구를 시도할 수 있습니다.
연구진은 여러 시뮬레이션 조작 테스트베드에서 AMP1을 평가했습니다. RoboLab-120에는 자연어로 지정된 픽 앤 플레이스 작업 120개가 있으며, 각 작업에는 기본 지시, 모호한 지시, 구체적인 지시가 제공됩니다. 평가에는 양손 작업을 포함하는 RoboDojo와 함께 LIBERO-PRO, robosuite, BEHAVIOR-1K의 작업도 포함됐습니다. 연구진은 실제 Franka 로봇에서도 시험을 진행했으며, 로봇 팔을 점검하고 충돌 반사 오류에서 복구하는 기능을 추가했습니다.
AMP1의 성능은 어땠나요?
테스트한 모델 중 성능이 가장 높았던 Gemini 4 Argon은 모델 비교에서 85.6%의 성공률을 달성했습니다. 연구진은 13개 모델을 다양한 추론 설정으로 테스트하는 동안 실행 프레임워크를 고정했습니다. 따라서 비교 결과는 로봇 제어 인터페이스의 차이가 아니라 모델 선택과 추론량이 AMP1에 미치는 영향을 보여줍니다.
| 모델 또는 비교 항목 | 보고된 결과 |
|---|---|
| Gemini 4 Argon | 성공률 85.6% |
| Claude Opus 5.5 | 성공률 82.8% |
| Qwen3.8-Flash-Next | 성공률 64.9% |
| Claude Haiku 5.5 | 성공률 51.6% |
| Claude Opus 4.5 | 성공률 35.2% |
| Qwen3.6-35B-A3B | 성공률 12.8% |
테스트한 모든 모델에서 추론량을 늘리면 성공률이 향상됐지만, 추론 비용도 증가했습니다. Claude Opus 5.5와 Sonnet 5.5는 추론량을 높인 설정에서 성공률이 각각 14.6, 17.2퍼센트포인트 높아졌으며, 에피소드당 비용은 약 $0.90 증가했습니다. Gemini 4 Argon은 비용이 약 $1.30 증가하는 대신 성공률이 2.3퍼센트포인트 높아졌습니다.
비용 비교를 위해 논문은 Opus 5.5의 RoboLab-120 에피소드당 평균 비용이 $1.39라고 보고합니다. 이는 GPT-6 Astra를 사용한 Astranomy의 보고 비용 $36.40보다 약 26분의 1 수준입니다. 보고된 성공률은 AMP1이 82.8%, Astranomy가 74.8%였습니다. 이 비교는 모델이 말단 작동기의 작은 움직임 하나하나를 승인하는 대신 AMP1이 코드로 더 긴 동작을 지시함으로써 효율성을 높일 수 있음을 보여줍니다.
에이전트형 조작 정책은 어떻게 작동하나요?
AMP1은 관찰–행동–검토를 반복하는 주기로 작동합니다. 모델은 언어 지시와 카메라 시점에 접근한 뒤, 지속적으로 유지되는 Python 인터프리터에서 코드를 작성합니다. 이 코드는 이미지를 살펴보고, 계산을 수행하고, 로봇 제어 함수를 호출하고, 궤적을 명령할 수 있습니다. 코드가 실행되면 모델은 출력된 내용, 오류 트레이스백, 표시된 이미지, 남은 제어 단계 및 실제 경과 시간 등의 정보를 확인합니다. 그런 다음 다음 차례에 무엇을 할지 결정합니다.
기존의 엔드투엔드 정책과 다른 점은 모델이 계획을 명시적으로 구성하고 도구를 사용해 실행할 수 있다는 것입니다. 배포 전에 모델에 완성된 프로그램을 작성하게 하는 시스템과도 다릅니다. AMP1은 계속 제어 과정에 참여하며 새로운 관측이 들어오면 전략을 갱신할 수 있습니다. 모델은 미리 작성된 조작 기술 라이브러리에만 의존하지 않고, 시각적 증거와 기하학적 추론, 물리적 상호작용을 함께 활용할 수 있습니다.
보고된 행동 중 일부는 이러한 유연성으로 가능한 일을 보여줍니다. 카메라에 목표 물체가 보이지 않았을 때 AMP1은 어떤 물체가 목표를 가리고 있을지 추론하고, 물체를 하나씩 옮긴 뒤 다시 확인했습니다. 또 다른 사례에서는 알려진 그리퍼 자세에서 이미지를 수집해 손목 카메라를 보정했습니다. 이렇게 여러 시점의 이미지를 확보해 카메라의 내부 파라미터와 그리퍼에 대한 고정 위치를 추정했습니다. 보정과 3D 추정에는 에피소드의 모델 호출 44회 중 16회가 사용됐으며, 모두 첫 번째 잡기 동작 전에 수행됐습니다.
이 접근법에는 명확한 시간상의 한계도 있습니다. 궤적이 실행되는 동안 모델은 이를 수정할 수 없습니다. 동작이 끝나고 결과가 반환된 뒤에는 대응할 수 있지만, 움직임이 진행되는 동안에는 계속해서 반응할 수 없습니다.
이 연구가 로봇공학에서 중요한 이유는 무엇인가요?
지시가 모호하거나, 물체가 가려져 있거나, 장면이 학습 데이터의 사례와 다르면 로봇은 종종 어려움을 겪습니다. AMP1은 로봇이 행동의 결과를 살펴보고 다음 행동을 선택하도록 해 이러한 상황에 대응합니다. 목표 물체를 찾는 사례가 좋은 예입니다. 로봇은 요청된 물체를 집기 위해서만 움직이는 것이 아니라, 목표물이 어디 있는지 파악하기 위해 다른 물체를 옮깁니다. 이는 로봇이 주변 환경에 관해 알고 있는 내용을 개선하기 위해 행동하는 상호작용적 지각의 한 형태입니다.
이 결과는 실용적인 절충점도 분명히 보여줍니다. 전문화된 조작 정책은 빠르게 작동할 수 있지만, 논문은 신뢰성이 낮다고 설명합니다. AMP1은 더 높은 작업 성공률을 달성할 수 있지만, 모델의 추론을 기다리는 데 상당한 시간이 듭니다. 따라서 작업 다양성이 사이클 타임보다 중요한 유연한 소량 작업에는 흥미로운 접근법이지만, 빠르고 반복적인 생산 공정에는 적용하기가 더 어렵습니다.
물리적 자동화를 검토하는 구매자와 운영팀이 기억해야 할 점은 로봇 팔이 시스템의 일부일 뿐이라는 것입니다. 모델, 센싱, 제어 인터페이스, 복구 절차도 모두 성능에 영향을 줍니다. 플랫폼을 살펴보는 팀은 더 폭넓은 자동화 솔루션을 찾는 과정에서 중고 로봇 매물 둘러보기 또는 창고 로봇 살펴보기를 이용할 수 있습니다. 이 논문은 AMP1이 이러한 현장에 투입될 준비가 됐음을 입증하지는 않지만, 다양한 지시와 예기치 않은 장면을 처리해야 하는 로봇을 위한 소프트웨어 방향을 제시합니다.
한계와 미해결 질문은 무엇인가요?
에피소드 중 상당한 시간을 로봇이 모델의 추론을 기다리는 데 쓰기 때문에 AMP1은 느립니다. 또한 동작이 진행되는 동안 궤적을 중단하거나 다시 검토할 수도 없습니다. 평가의 대부분은 준정적 장면을 다루므로, 움직이는 목표물이나 그리퍼에서 미끄러지는 물체, 동작 도중 빠른 대응이 필요한 다른 상황을 얼마나 잘 처리하는지는 입증되지 않았습니다.
논문의 결과는 AMP1이 임무 수행에 필수적인 작업에 투입될 준비가 됐음을 보여주지 않습니다. 실제 Franka 로봇에서 시스템을 시험하고 충돌 반사 상황의 복구 기능을 포함했지만, 제시된 결과에는 실제 환경에서의 종합 성공률이 없습니다. 로봇 플랫폼 간에 얼마나 안정적으로 전이되는지, 이미지 품질과 모델 선택에 성능이 얼마나 좌우되는지, 더 빠른 추론으로 성공률을 유지할 수 있는지 등도 추가로 살펴봐야 합니다. 현재 AMP1은 유망한 기반 기술이지, 신뢰성 있고 빠른 제어를 대체할 배포 준비 완료 시스템은 아닙니다.
에이전트형 조작에 대해 알아야 할 점은 무엇인가요?
“에이전트형 조작”은 무엇을 뜻하나요? 범용 모델이 로봇이 작업하는 동안 계속 참여해 관측을 해석하고 행동을 선택하는 것을 뜻합니다. 미리 만들어진 기술을 선택하는 데 그치지 않습니다.
AMP1은 사전 프로그래밍된 조작 기술에 의존하나요? 가려진 물체를 찾거나 카메라를 보정하는 등 주목할 만한 전략은 프롬프트에 명시되거나 사전 정의된 기술로 제공되지 않았습니다. 모델은 작업을 해결하는 과정에서 이러한 전략을 만들어냈습니다.
보고된 비교에서 어떤 모델이 가장 뛰어난 성능을 보였나요? Gemini 4 Argon은 AMP1 실행 프레임워크를 사용해 보고된 최고 성공률인 85.6%를 기록했습니다. 이 결과는 해당 평가에 관한 것이며, 모든 로봇이나 작업에 적용되는 것은 아닙니다.
AMP1은 공장이나 창고에 배포할 준비가 됐나요? 논문은 느린 추론과 궤적 실행 중 제한적인 대응 능력을 주요 제약으로 꼽습니다. AMP1은 유망한 기반 기술로 제시됐으며, 임무 수행에 필수적인 배포 시스템으로 제시된 것은 아닙니다.
실질적인 시사점은 무엇인가요?
AMP1은 로봇이 고정된 기술에 전적으로 의존하지 않고, 범용 모델을 활용해 행동을 계획하고 결과를 살펴보며 접근법을 조정할 수 있음을 보여줍니다. 결과는 고무적이지만, 이러한 유연성을 빠르고 안정적으로 구현하는 것이 여전히 핵심적인 엔지니어링 과제입니다.