최첨단 LLM 에이전트는 로봇 조작 동작을 직접 생성하는 놀라운 역량을 보여 줍니다. 반복적인 시행착오를 통해 에이전트는 스킬을 업데이트하고, 코드를 생성하고, 도구를 사용하면서 조작 능력을 지속적으로 개선합니다. 이 과정을 물리적 재귀 자기개선, 즉 물리적 RSI라고 부릅니다. 이 연구는 최첨단 LLM 에이전트의 역량을 더 입증하는 대신 세 가지 근본적인 질문을 던집니다. 물리적 RSI 역량은 어디에서 비롯되는가? 이 과정을 지배하는 스케일링 법칙은 무엇인가? 그 결과로 얻은 개선은 과적합을 반영하는가, 아니면 일반화를 반영하는가?
에이전트는 어떻게 물리적 피드백을 더 나은 정책으로 바꿀 수 있을까요? 지각은 결과를 해석하도록 돕고, 공간 추론은 관측과 동작을 연결하며, 코딩과 하네스 사용은 수정 사항을 구현하고 시험하게 해 줍니다. 이러한 역량은 서로 다른 역할을 할 수 있습니다. 첫 시도에서 좋은 결과를 내게 하는 강점이 피드백을 받은 뒤의 개선도 설명하는지 살펴봅니다.
이 질문들을 공통 프로토콜로 연구하기 위해 PhysRSI-eval을 소개합니다. 6개 시스템은 모델 가중치를 고정하고 물리적 상호작용 예산을 일정하게 유지한 상태에서, 18개 조작 태스크에 걸쳐 지속적으로 유지되는 코드, 도구, 메모를 수정합니다. Gemini 4는 10개 태스크를 대상으로 별도 보고합니다.
18개 태스크에서 공개된 역량 프로필 4가지를 탐색적으로 비교한 결과, 공간 추론은 초기 성능과 가장 강하게 연관되고 지각은 달성 성능 및 회복과 연관됩니다. 이 패턴에서 물리적 배럴 가설이 도출됩니다. 에이전트의 역량을 제한하는 요소는 개선의 어떤 측면을 측정하느냐에 따라 달라질 수 있습니다. 처음부터 잘하는 데 필요한 강점과 실패에서 배우는 데 필요한 강점은 다를 수 있습니다. 이러한 연관성은 가능한 병목 요인을 제시할 뿐, 인과적 필수 조건을 입증하지는 않습니다.
PhysRSI-eval: 벤치마크 설계
PhysRSI-eval은 물리적 시도와 시도 사이에 이어지는 작업 공간을 모두 기록해 세 가지 질문을 측정 가능하게 만듭니다. 시도 순서를 보면 에이전트가 어디서 시작해 일정한 예산 아래 어떻게 발전하는지 알 수 있습니다. 작업 공간에 개입하면 에이전트가 무엇을 유지하는지, 그리고 그것이 다른 상황에도 전이되는지 시험할 수 있습니다.
벤치마크는 무엇을 구분해야 하는가?
첫 시도를 잘하는 능력과 유용하게 수정하는 능력은 서로 다릅니다. 따라서 첫 시도 기준선을 별도로 점수화하고, 이후 시도는 일정한 예산 아래 추적합니다. 라운드별 점수는 개선이 언제 일어나는지 보여 주고, 비용으로 계산되는 물리적 단계는 그 개선에 얼마가 드는지 보여 줍니다. 높은 점수에 도달하는 것, 일찍 도달하는 것, 상호작용을 적게 사용하는 것은 각각 별개의 결과입니다.
성공만으로는 에이전트가 유용한 경험을 축적했는지 알 수 없습니다. 개입할 수 있도록 코드, 도구, 메모에 계속 접근할 수 있어야 합니다. 작업 공간을 비우면 유지된 경험이 도움이 되는지 시험할 수 있고, 보지 못한 레이아웃에서 이를 고정해 실행하면 계속 유용한지 확인할 수 있으며, 새 태스크로 전이하면 다른 목표를 뒷받침할 수 있는지 살펴볼 수 있습니다. 이 테스트는 섹션 6의 주요 프로필과 별도로 보고합니다.
통제된 물리적 시도 루프
모델 가중치는 고정하지만, 스킬, 도구, 정책 코드, 메모리는 지속적으로 유지되는 작업 공간에서 변경할 수 있습니다. 각 수정 사항은 평가를 거치는 물리적 시도로 시험합니다. 이를 통해 작업 공간의 변경 사항을 관측된 결과 및 물리적 비용과 연결합니다.
K0은 지속 작업 공간 없이 시작점을 측정합니다. 각 태스크는 공유 로봇 도구를 사용해 3회 실행하고, 점수의 평균을 냅니다. K1에서는 호스트의 읽기 전용 도구만 있는 빈 Harness 작업 공간을 에이전트에 제공합니다. 각 라운드에서 물리적 시도 1회를 실행하고 기본 점수, 성공 여부, 실패 이유를 반환합니다. 그런 다음 에이전트는 로봇 동작이 비활성화된 상태에서 작업 공간을 수정하고, 다음 라운드에 사용할 수 있도록 커밋합니다. 주요 평가에서는 태스크마다 정해져 있지만 구체적으로 명시되지 않은 수의 개선 라운드를 최대한 허용하고, 기본 성공이 처음 확인되는 시점에 멈춥니다.
두 단계는 동일한 로봇 인터페이스를 공유합니다. K1에서는 작업 공간 도구와 프로그램 실행도 추가되므로, K0에서 K1로의 향상에는 인터페이스 변경과 개선 효과가 함께 반영됩니다. 따라서 자기개선 구간으로 Harness 라운드를 살펴봅니다. 각 라운드에는 추론 시간이 4,200초 허용되며, 수정에는 GPT 시스템의 경우 최대 1,800초, Claude 시스템의 경우 600초가 걸립니다.
집계할 때 성공한 태스크는 중단 후에도 점수 1을 유지하며 추가 실행은 하지 않습니다. 성공하지 못한 태스크는 점수 하락을 포함해 현재 점수를 유지합니다. 추가 시도는 물리적 예산에 포함되지만 점수 산정 라운드는 늘리지 않습니다. GPT-5.6 Sol Harness 항목 9개는 관측된 두 차례 실행을 요약합니다. 3회 반복하는 K0 프로토콜은 6개 시스템 모두에 적용됩니다.
난이도별 태스크
6개 시스템을 평가합니다. GPT-6 Astra, GPT-6.1 Sol, GPT-6 Sol, GPT-5.6 Sol, Claude Opus 5.5, Claude Sonnet 5.5입니다. 각 시스템은 모델과 런타임 설정으로 구성되며, 런타임 설정도 성능에 영향을 줄 수 있습니다. 추가 힌트가 없는 별도 실험에서 Astra는 13개 태스크를 해결한 반면, 주요 평가에서는 15개를 해결했습니다. 두 조건의 결과는 별도로 보고합니다.
Gemini 4는 K20까지 10개 태스크를 다루고 그중 6개를 해결한 별도의 부분 실행 결과로 보고합니다. 보고된 평균 점수는 K0에서 0.050, K10에서 0.48입니다. 5개 축 프로필은 이 10개 태스크를 기준으로 계산합니다. 태스크 집합이 주요 18개 태스크 프로토콜과 다르므로, 벤치마크 기반 연관성 분석과 예측 분석에서는 제외합니다.
개선의 5개 축 프로필
물리적 RSI의 스케일링을 연구하려면 최종 점수만으로는 부족합니다. 5개 축 프로필은 시작점, 개선 시점, 달성 점수, 물리적 예산 절감, 실패 회복을 구분합니다. 각 축은 개선의 서로 다른 측면을 측정합니다.
에이전트는 첫 시도에서 얼마나 잘 수행할까요? 첫 시도 점수는 태스크별 K0 점수를 3회 실행에 걸쳐 평균한 뒤, 부분적인 진전도 포함해 태스크 전체의 평균을 구한 값입니다.
물리적 RSI 역량은 어디에서 비롯되는가?
무엇이 물리적 피드백을 유용한 정책 수정으로 바꾸어 줄까요? 동작하기, 결과 해석하기, 변경 사항 구현하기에는 서로 다른 역량이 필요할 수 있습니다. 5개 축 프로필을 사용해 첫 시도에서 강점을 보이는 역량이 효과적인 개선과도 연관되는지 살펴봅니다.
물리적 RSI와 연관되는 역량은 무엇인가?
코딩 점수가 높다고 해서 물리적 개선이 보장되는 것은 아닙니다. GPT-5.6 Sol은 LiveBench 코드 생성 및 완성에서 GPT-6 Astra보다 높은 점수를 받지만, 18개 태스크 중 1개를 해결한 반면 Astra는 15개를 해결합니다.
탐색적 분석에서는 18개 태스크 전체에 걸친 6개 시스템을 사용합니다. 공개 벤치마크 점수 17개를 Spatial, Harness, Perception, Coding으로 분류한 다음, 그 순위를 A1–A5와 비교합니다.
물리적 배럴 가설
이 패턴에서 물리적 배럴 가설이 도출됩니다. 개선의 서로 다른 측면에는 서로 다른 역량 병목이 있을 수 있습니다. 공간 추론은 처음부터 잘하는 데 가장 중요할 수 있고, 지각은 실패를 해석하고 회복하는 데 더 중요할 수 있습니다. 이 가설에 따르면 한 영역의 약점을 코딩 능력으로 항상 보완할 수 있는 것은 아닙니다. 연관성이 약하다고 해서 코딩이 불필요하다는 뜻은 아닙니다. 여기서는 모든 시스템이 코드를 사용합니다.
이러한 연관성은 표적화된 역량 개입으로 직접 검증할 수 있는 잠재적 병목 요인을 제시합니다.
이러한 잠재적 병목 요인은 두 번째 질문으로 이어집니다. 물리적 RSI와 모델 역량 및 상호작용 예산에 따른 스케일링을 어떻게 정량화할 수 있을까요?
물리적 RSI와 스케일링 법칙은 어떻게 정량화할 수 있는가?
에이전트는 얼마나 개선될 수 있으며, 주요 개선은 언제 일어나고, 상호작용은 얼마나 필요할까요? 5개 축 프로필은 이 질문들을 측정 가능한 결과로 바꿉니다. 먼저 에이전트 간 차이를 정량화한 뒤, 이러한 결과가 모델 역량과 물리적 상호작용 예산에 따라 어떻게 스케일링되는지 살펴봅니다.
모델 역량 전반의 관측적 스케일링
전체 평가를 실행하기 전에 공개 역량 점수로 물리적 개선을 예측할 수 있을까요? 이것이 관측적 스케일링의 교차 모델 질문입니다. 역량과 결과의 상관관계를 파악하는 것만으로는 충분하지 않습니다. 예측기는 다른 시스템에서 관측한 관계만 사용해, 보지 못한 시스템의 순위를 매겨야 합니다.
초기 물리적 피드백으로 무엇을 예측할 수 있는가?
물리적 상호작용이 시작된 뒤에도 초기 진전으로 추가 개선을 예측할 수 있을까요? 6개 시스템은 서로 다른 시점에 높은 점수 구간에 도달합니다. 최고 개선폭의 90%에 처음 도달하는 라운드는 Astra의 경우 K9, GPT-6.1 Sol의 경우 K7, Opus의 경우 K15, Sonnet의 경우 K13이며, GPT-6 Sol과 GPT-5.6 Sol의 경우 K17입니다. 이후 라운드를 예측하면 짧은 진행 경로에 지속적인 개선에 관한 유용한 정보가 담겨 있는지 시험할 수 있습니다.
이 분석에서는 개선의 크기와 시점을 다룹니다. 다음으로 그 개선이 무엇을 나타내는지 묻습니다. 개선 설정에 대한 적응인가, 아니면 다른 곳에서도 유용한 경험인가?
물리적 RSI는 과적합을 반영하는가, 아니면 일반화를 반영하는가?
모델 가중치가 고정된 상태에서 일반화와 관련된 것은 에이전트가 유지하는 코드, 도구, 메모입니다. 이것들이 재사용 가능한 절차를 담는 것일까요, 아니면 개선 설정에 특화되는 것일까요? 먼저 유지된 경험이 반복 시도를 넘어 도움을 주는지 시험합니다. 그런 다음 고정된 작업 공간을 보지 못한 레이아웃에서 평가하고, 새 태스크로 전이합니다.
유지된 경험은 반복 시도만으로 얻는 것 이상의 도움을 주는가?
나머지 조건에서는 특정 정보 채널을 차단합니다. 평가자 피드백을 차단하면 점수가 가장 크게 하락해 5/36 (13.9%)이 되고, 이전 라운드 이미지를 차단하면 12/36 (33.3%)이 됩니다. 작업 공간과 평가자 피드백만 유지하면 17/36 (47.2%)을 기록하므로, 이 두 채널을 유지한 경우 과거 이미지와 동작 기록은 추가적인 도움을 거의 주지 않습니다. 기록을 제공하지 않는 대조 조건은 유지된 경험의 역할을 뒷받침하지만, 그 경험이 개선 설정에만 특화된 것인지는 밝혀 주지 않습니다.
수정이 중단된 뒤에도 무엇이 남는가?
저장된 산출물이 연습을 넘어 유용한지 시험하기 위해 K6 이후 Astra 작업 공간을 고정하고, 추가 수정이나 결과 피드백 없이 보지 못한 레이아웃 5개에서 각각 시험합니다. 출처 12개 전반에서 작업 공간 파일만 사용했을 때 60회 시험 중 25회(41.7%) 성공합니다. 과거 원시 기록을 추가하면 60회 중 23회(38.3%) 성공합니다. 저장된 산출물은 레이아웃이 달라져도 유용하게 유지되지만, 이 점 추정치에서는 시험 시 원시 기록을 제공해도 이점이 나타나지 않습니다.
고정된 레이아웃의 출처 작업 공간은 보류된 레이아웃에서 60회 중 27회(45.0%) 성공합니다. 자체 레이아웃에서 보고된 결과인 16회 중 14회(88%)와 비교할 수 있지만, 분모가 달라 짝지어진 비교로 해석할 수는 없습니다. 그래도 이 비교는 장면 특화 개선과 전이 가능한 경험이 함께 존재할 수 있음을 시사합니다. 이 테스트는 해당 태스크 하위 집합에서 Astra가 일부 장면 간 유용성을 보인다는 점을 입증하지만, 모든 시스템에 걸친 일반화를 입증하지는 않습니다.
경험이 다른 태스크에도 도움이 될 수 있는가?
5개 모델의 실행 기록은 재사용 가능한 경험의 두 가지 형태, 즉 실행 가능한 루틴과 텍스트 형태의 운용 지식을 보여 줍니다. Sonnet 5.5와 Opus 5.5는 점차 자체 작성 도구에 제어 기능을 담으며, 후반 라운드에는 도구가 동작의 96% 이상을 생성합니다. GPT-6 Sol도 상당한 도구 라이브러리를 구축하지만, 도구가 동작의 67%를 생성하고 모델이 33%를 직접 생성합니다. 이 비율은 도구 의존도를 측정합니다.
Astra와 GPT-6.1 Sol은 다른 패턴을 보입니다. 동작의 약 99%는 계속 모델이 직접 생성합니다. 검증을 위해 아주 적은 수의 도구만 사용하지만, 라운드가 진행되면서 추론 시간은 줄어듭니다. 파일 접근 기록을 보면 메모리, 스킬, 정책 메모를 반복적으로 활용해 성공한 동작과 하위 태스크의 해결책을 찾아내고, 실패를 진단하며, 수정 방향을 정합니다. 이러한 관측 결과는 실행 가능한 루틴과 유지된 운용 지식이 모두 반복적인 추론을 줄일 수 있음을 시사합니다.
작업 공간 및 일반화 분석 결과는 공간 추론, 지각, 코딩, 하네스 운용이라는 네 가지 역량 요소 전반에서 물리적 RSI 배럴 가설과 부합하는 것으로 나타났습니다. 공간 도구는 Sonnet의 도구 호출 중 14.5%, Opus의 도구 호출 중 13.7%를 차지하며, 각각 2,819회 중 408회, 1,332회 중 183회입니다. Astra는 도구 호출이 단 7회이며 그중 하나가 이러한 도구 호출로, 14%에 해당합니다. Astra가 이 모듈에 거의 의존하지 않는다는 점은 내재된 지각 및 공간 역량이 더 강함을 시사합니다. Sonnet과 Opus는 태스크 전반에서 이러한 모듈을 반복적으로 재사용하며, 이는 이 역량의 한계를 보완하기 위해 도구에 더 의존한다는 점을 시사합니다.
태스크 간 전이 과정에서 에이전트는 의미적으로 유사한 태스크의 메모리와 스킬도 참고합니다. Organize Table에서 Opus는 Pack Objects Into Box의 매개변수화된 이동 도구와 Store Tools In Toolbox의 메모리를 결합합니다. “30 deg 기울인 그립… +y 쪽 절반까지 닿는다…” 도구는 동작을 제공하고, 메모리는 도달 범위를 넓히는 그립 방향을 알려 줍니다. 이는 재사용 가능한 절차와 그 절차가 효과적인 상황에 관한 지식이 함께 전이를 뒷받침할 수 있음을 보여 줍니다.
전이 기록은 성능 향상이 대상 태스크의 병목과 관련된 경험, 그리고 실패 증거를 바탕으로 그 경험의 적용 가능성을 평가하는 에이전트의 능력에 달려 있음을 시사합니다. 의미적 유사성은 활용 후보 경험을 찾는 데 도움이 되고, 실패 증거는 이를 재사용할지, 수정할지, 버릴지를 판단하는 데 도움이 됩니다. 티저는 블록 쌓기에서 블록을 컵으로 덮기로 전환할 때 폐루프 그립 및 이동 루틴을 재사용하고, 열쇠 삽입에서 충전기 연결로 전환할 때 삽입 루틴을 재사용하는 방식으로 이 메커니즘을 보여 줍니다.
한계
주요 비교는 모델과 설정을 결합한 6개 시스템을 대상으로 하며, 태스크마다 개선 경로는 하나입니다. K0 반복은 전체 경로 간 변동성을 추정하지 않습니다. 첫 성공 시 중단하는 방식은 한 번의 성공을 기록할 뿐이므로, 안정적인 반복 실행은 별도의 시험이 필요합니다. Budget과 Improvement는 시스템마다 서로 다른 조건부 태스크 집합을 사용합니다. 추가 힌트가 없는 실험에서 Astra의 결과는 주요 평가 결과와 다릅니다.
역량 분석은 평가 설정이 본 연구의 실행과 다른 공개 벤치마크 점수에 의존하며, 독립적인 검증 없이 6개 시스템만 다룹니다. 따라서 역량 병목과 개선 시점 예측은 검증이 필요한 가설로 남습니다. 제거 실험과 고정 테스트는 Astra와 6개 태스크를 대상으로 하며, 태스크 간 결과는 첫 실행 사례 3건입니다. 이러한 한계로 인해 관측된 전이와 그로부터 추론할 수 있는 메커니즘의 범위가 제한됩니다.
결론
PhysRSI-eval은 일정한 상호작용 예산 아래 물리적 RSI의 기원, 측정, 스케일링, 일반화를 연구합니다. 역량 간 연관성은 물리적 배럴 가설을 뒷받침합니다. 처음부터 잘하는 데 필요한 강점은 개선에 필요한 강점과 다를 수 있습니다. 5개 축 지표는 이러한 결과를 명시적으로 구분하고, 높은 점수와 빠른 개선, 효율적인 상호작용이 반드시 일치하지는 않음을 보여 줍니다. 교차 모델 예측과 초기 라운드 예측은 이러한 결과가 역량 및 상호작용 예산에 따라 어떻게 달라지는지 살펴봅니다. 작업 공간 개입은 유지된 경험의 역할을 뒷받침하며, 그 경험이 새로운 레이아웃과 태스크에서도 유용할 수 있음을 보여 줍니다. 따라서 물리적 RSI에는 장면별 적응과 재사용…
자주 묻는 질문
물리적 재귀 자기개선이란 무엇인가요? 에이전트가 반복적인 시행착오를 통해 스킬, 코드, 도구를 업데이트하면서 조작 능력을 개선하는 과정입니다.
PhysRSI-eval은 무엇을 측정하도록 설계되었나요? 물리적 시도 전반에서 초기 성능과 개선을 측정하고, 에이전트가 무엇을 유지하는지와 그것이 전이되는지도 시험합니다.
물리적 배럴 가설은 무엇을 제안하나요? 물리적 개선의 서로 다른 측면에는 서로 다른 역량 병목이 있을 수 있습니다. 공간 추론은 처음부터 잘하는 데 더 중요할 수 있고, 지각은 실패를 해석하고 회복하는 데 더 중요할 수 있습니다.
유지된 경험은 반복 시도를 넘어 일반화되나요? 여기서 보고된 테스트에서는 고정된 Astra 작업 공간이 보지 못한 레이아웃에서도 유용했으며, 태스크 간 전이 기록에서는 도구와 운용 지식의 재사용이 확인됐습니다.