코드가 곧 세계
코드가 곧 세계(Code as World)는 물리적 환경과의 상호작용을 두 단계의 코드로 구성합니다. L1은 관찰과 행동을 위한 기본 연산을 제공하고, L2는 이러한 연산을 실행 가능한 Python 절차로 결합합니다. 프로그램 기반 제어는 더 폭넓은 체화 제어 패러다임의 일부입니다.
환경은 과제를 읽고, 장면을 관찰하고, 동작을 실행하고, 환경을 초기화하기 위한 네 가지 기본 연산을 제공합니다. 이 연산은 에이전트가 사용할 수 있는 고정 인터페이스를 이룹니다. 초기화는 Playground에서만 허용되며, 같은 장면에서 다시 시도할 수 있게 합니다.
RoboDojo에서 관측에는 RGB 이미지와 관절 상태, 엔드이펙터 포즈, 그리퍼 명령 상태를 포함한 로봇 상태가 담깁니다. 동작은 그리퍼 명령과 함께 관절 또는 엔드이펙터 목표값을 지정하며, 기본 컨트롤러가 역기구학과 보간을 처리합니다. 물체의 정답 포즈, 깊이 정보, 카메라 보정값은 이 인터페이스를 통해 제공되지 않습니다.
Astra의 실패 자세히 살펴보기
물리적 상호작용에서 코딩 에이전트가 어려움을 겪는 지점을 파악하기 위해, 코드 작업 공간에서 추론 강도 xhigh로 GPT-6-Astra를 평가합니다. 평가는 RoboDojo-sim의 Generalization, Precision, Long-Horizon, Memory, Open 과제를 대상으로 하며, 과제별로 장면 5개를 사용합니다. Astra에는 과제 설명과 로봇 인터페이스 문서가 제공되지만, 과제 위키는 제공되지 않습니다. 각 에피소드는 새 에이전트, 작업 공간, 시뮬레이터로 시작합니다. 과제에 설정된 기본 동작 예산 안에서 코드 실행은 최대 100회까지 허용되며, 초기화는 비활성화됩니다.
Astra의 평균 성공률은 8.50%입니다. 그럴듯한 계획이 물리적 실행 중 실패하는 지점을 찾기 위해 제출한 프로그램, 카메라 관측, 피드백을 살펴봅니다. 두 가지 대표 에피소드에서는 유효한 명령을 내리는 것과 과제를 진전시키는 것 사이의 서로 다른 간극이 드러납니다.
틱택토에서 Astra는 링을 집어 보드 위에 놓으려 합니다. 그리퍼는 목표 위치에 도달하지만, 연이어 시도한 두 번 모두 링이 테이블 위에 남습니다(동작 216 및 283). 손목 카메라 영상을 확인하고 파지 방법을 조정한 뒤, Astra는 동작 367에서 처음으로 링을 잡은 상태를 눈에 보이게 유지합니다. 이때 이미 1,100회 동작 예산의 3분의 1을 소모했습니다. 이후 에피소드는 보드를 완성하지 못한 채 시간 초과로 끝납니다. 이 기록은 국소적인 조작 루틴을 만드는 일이 과제 완료와 경쟁할 수 있음을 보여줍니다. 따라서 접근, 정렬, 그리퍼 닫기, 물체 파지 확인을 결합한 매개변수화 절차를 보존해 두면, 이후 시도에서 작동이 확인된 동작을 바탕으로 작업을 이어갈 수 있습니다.
하네스 진화를 통한 자기 개선
하나의 Playground 장면에서 코드 편집, 실행, 피드백을 반복하는 루프가 지속됩니다. 제출 간에 로봇 상태와 Python 정의가 유지되며, 초기화를 통해 같은 장면에서 다시 시도할 수 있습니다. 에이전트는 기술과 교훈을 갱신하고 이를 다음 시도에 적용합니다. 성공한 동작은 매개변수화 절차로 만들 수 있고, 실패한 시도는 유용한 조건을 드러내거나 복구 전략을 제안할 수 있습니다. 과제를 끝내지 못하더라도 유용한 발견을 얻을 수 있으며, 잠정적인 설명은 가설로 남습니다.
Playground가 끝나면 기술과 교훈만 읽기 전용 산출물로 Test에 전달됩니다. 오른쪽에서는 같은 과제의 미관측 장면마다 새 에이전트, 작업 공간, Python 네임스페이스, 시뮬레이터가 시작됩니다. 에이전트는 고정된 하네스를 사용해 코드를 구성하고, 실행 피드백에 따라 코드를 조정합니다. 초기화는 비활성화되며, Test 에피소드는 하네스를 갱신하거나 새로운 경험을 공유하지 않습니다. 이렇게 하면 장면 내 적응과 Playground에서 획득한 지식의 기여를 분리할 수 있습니다.
명시적인 절차와 지침으로 이루어진 고정 산출물은 다른 실행기에도 제공할 수 있습니다. 모델 간 재사용에는 별도의 Playground 탐색, 매개변수 갱신, 학습된 어댑터가 필요하지 않습니다. 획득한 지식이 모델 간에도 유용한지 평가하기 위해, 동일한 실행기와 Test 조건에서 자체 생성 하네스와 이전된 하네스를 비교합니다.
실험
다음 연구 질문에 답하기 위해 RoboDojo-Sim에서 EmbodiedEvo를 평가합니다.
- VLA 및 WAM 기반 방법과 비교할 때 EmbodiedEvo의 성능은 어떠한가?
- 하네스 진화를 통해 어떤 역량이 향상되며, 어떤 과제는 여전히 어려운가?
- 획득한 경험을 모델과 과제 간에 이전할 수 있는가?
실험 설정
RoboDojo-Sim은 범용 로봇 조작 정책을 평가하기 위한 까다로운 벤치마크입니다. Generalization 과제 12개, Precision 과제 8개, Long-Horizon 과제 8개, Memory 과제 6개, Open 과제 8개로 구성됩니다. 각 하네스(기술 + 교훈)는 Test 레이아웃과 다른 하나의 Playground 장면 레이아웃에서 획득합니다.
실행기는 xhigh 및 medium 추론 강도의 GPT-6-Astra, xhigh 추론 강도의 GPT-5.6-sol, xhigh 추론 강도의 GPT-5.6-luna이며, 각각 Astra, Sol, Luna로 줄여 부릅니다.
논의
코드는 물리적 전략을 실행하는 데 사용되는 매개변수, 점검 항목, 제어 흐름을 드러냅니다. 덕분에 피드백을 구체적인 수정 대상으로 삼을 수 있습니다. 예를 들어, 적재물이 떨어진 뒤 쌓기 에이전트는 제한된 동작 범위를 유지하고 이후 실행에서 물체가 계속 잡혀 있는지 확인합니다. 매개변수화 절차는 유용한 동작을 보존하면서도 장면에 따라 목표값을 바꿀 수 있게 합니다. 교훈은 이 표현을 보완해, 해당 동작을 언제 적용하거나 재고해야 하는지 기록합니다. 관측된 성공률은 Raw History와 비슷하지만, 기술과 교훈은 전체 Test 토큰 사용량을 11.3% 줄입니다. 이는 상호작용을 활용하기 쉬운 절차와 지침으로 정리하는 것이 이 표현의 실질적인 이점임을 시사합니다. 다만 코드만으로는 물리적 가정의 타당성이 보장되지 않습니다.
결론
모델 매개변수를 업데이트하지 않고 코딩 에이전트가 물리적 상호작용을 재사용 가능한 기술과 교훈으로 전환하도록 하는 프레임워크 EmbodiedEvo를 제시했습니다. RoboDojo-Sim에서 EmbodiedEvo는 평균 점수 44.48, 성공률(SR) 37.82%를 달성합니다. 쌍별 평가에서는 서로 다른 입력 설정 전반에 걸쳐 일관된 향상이 나타납니다. 기술과 교훈은 원시 상호작용 이력과 비슷한 관측 성능을 달성하면서 Test 실행 비용을 53.0% 낮춥니다. 이러한 결과는 하네스 진화가 실행 가능한 동작과 그 적용 조건을 보존해 과제 해결의 출발점을 개선할 수 있음을 시사합니다. 정밀한 접촉과 신뢰할 수 있는 장기 실행은 이 접근법을 발전시키기 위한 중요한 연구 방향으로 남아 있습니다.
역량 변화
역량 분석은 실행 기록을 바탕으로 합니다. 모든 사례는 Astra/xhigh를 사용하며, 쌍별 비교에는 동일한 장면을 사용합니다. 근거 자료에는 원본 프로그램, 피드백, 파일 읽기 기록, 카메라 프레임이 포함됩니다. 선정된 사례는 작동 원리를 보여주는 것으로, 실패 빈도나 분리된 인과 효과를 나타내지는 않습니다.
경험 재사용과 한계
성공적인 재사용, 모델 간 이전, 성능 저하 사례를 비교합니다. 성공적인 쌓기 기록에서 사용된 파지 함수 전체와 교훈 두 가지도 함께 제시합니다.
고정된 교훈 기록은 “팔이 목표 위치에 도달했지만, 적재물을 계속 잡아 두는 데 실패했다.”라고 말합니다. Test 실행 2에는 ee_move.py와 pick_from_above.py가 원문 그대로 포함됩니다. 실행 9에서는 시각적으로 물체가 잡혀 있는지 확인한 뒤 이동 범위를 8 mm로 제한하며, 실행 15에서 쌓기를 완료합니다. 이는 범위 제한이 성공에 기여한 인과적 효과를 분리해 보이지는 않지만, 실제로 재사용이 이루어졌음을 보여줍니다.
자주 묻는 질문
EmbodiedEvo의 기술과 교훈은 무엇인가요? 기술은 재사용 가능한 매개변수화 절차이며, 교훈은 이를 적용하거나 재고해야 하는 조건을 기록합니다.
RoboDojo 인터페이스는 어떤 정보를 제공하나요? 관절 상태, 엔드이펙터 포즈, 그리퍼 명령 상태를 포함한 RGB 이미지와 로봇 상태를 제공합니다. 물체의 정답 포즈, 깊이 정보, 카메라 보정값은 제공하지 않습니다.
EmbodiedEvo는 학습과 테스트를 어떻게 분리하나요? 기술과 교훈은 Playground에서 획득한 뒤 읽기 전용 산출물로 고정해 Test에서 사용합니다. Test 장면에는 새 에이전트, 작업 공간, Python 네임스페이스, 시뮬레이터가 사용되며, 초기화는 비활성화됩니다.
EmbodiedEvo에는 어떤 한계가 남아 있나요? 정밀한 접촉과 신뢰할 수 있는 장기 실행은 이 접근법을 발전시키기 위한 중요한 연구 방향으로 남아 있습니다.