에이전틱 로봇 시스템은 세계 행동 모델(WAM)에 상호 보완적인 구조를 제공합니다. 프로그램 기반 제어 체계가 재사용 가능한 스킬과 도구를 선택해 현재 장면에 맞추고, 진행 상황을 추적하며 관측이 바뀌면 계획을 다시 수립합니다. 이러한 프로그램 기반 표현은 다단계 작업의 구조를 명시적으로 드러내 어떤 스킬과 도구를 어떤 인자로 어떤 순서로 호출할지 지정합니다. 그러나 에이전틱 로봇공학은 실제 물리 동역학에 대한 예측적 기반이 부족한 경우가 많고, 로봇이 행동함에 따라 세계가 어떻게 바뀔지 학습한 모델을 활용하지 못합니다.
우리는 WAM의 예측 능력과 행동 실행을 에이전틱 로봇공학의 인지적 효율성, 재사용 가능한 스킬, 향후 자체 개선 가능성과 결합하는 아키텍처를 제안합니다. 코드 기반 계획 및 생성을 장면에 기반한 코드 전문가를 통해 세계 행동 모델링에 직접 통합하는 에이전틱 WAM 프레임워크 AW-0을 제안합니다. AW-0은 폭넓은 프로그래밍 사전 지식을 활용해 명시적 매개변수와 제어 로직을 갖춘 모듈형 스킬을 합성합니다. 코드는 트랜스포머 혼합 아키텍처 내에서 동기화된 비디오 및 제어 모듈을 안내하고, 이와 동시에 이산 코드 구조, 예측 시각 관측, 저수준 모터 명령을 모두 디노이징합니다.
주요 기여는 세계 행동 모델 프레임워크 안에서 에이전틱 로봇 스킬을 개념화하고 구현한 것입니다. 코드 생성이 세계 모델의 행동 예측을 향상시키고, 세계 모델이 생성한 코드를 에이전틱 프레임워크에서 재사용할 수 있음을 보입니다. 구체적인 기여는 코드, 비디오, 제어를 동시에 디노이징해 코드 전문가를 세계 행동 모델에 통합하는 트랜스포머 혼합 프레임워크, 프로그램 주석 및 스킬 발견을 위한 자동화된 에이전틱 파이프라인, 구조화된 스킬 프로그램 데이터셋, 그리고 프로그램 기반 스킬 호출과 WAM 행동 전문가가 직접 출력하는 액션 청크 사이를 동적으로 전환하는 하이브리드 실행 정책을 포함합니다.
트랜스포머 혼합 아키텍처
코드 전문가
코드 전문가는 사전 학습된 언어 백본에 동결된 Qwen3-VL 비전 트랜스포머를 더하고, LLaDA 방식의 마스크 토큰 확산을 채택합니다. 현재의 다중 시점 관측은 시각 토큰으로 인코딩되어 지시문 및 프로그램 토큰 앞에 배치되며, 이를 통해 스킬 계획이 장면에 기반하도록 합니다.
비디오 및 행동 전문가
비디오 전문가는 Cosmos-Predict2.5에서 초기화된 비디오 확산 트랜스포머를 사용해 관측 프레임을 조건으로 VAE 인코딩된 미래 프레임을 모델링하고, 별도의 행동 확산 트랜스포머는 연속 액션 청크를 생성합니다. 두 전문가 모두 크로스 어텐션을 통해 언어 임베딩을 받으며, 행동 전문가는 로봇 상태 조건도 추가로 받습니다.
WAM의 에이전틱 코딩
메모리 캐시
단일 관측만으로 작업 진행 상황을 파악하기 어려운 경우가 많으므로, 코드 전문가는 지금까지 생성된 슬라이스를 간결하게 저장한 캐시를 입력받습니다. 과거 슬라이스는 학습 가능한 메모리 슬롯 집합으로 압축되며, 코드 스트림의 프롬프트 앞에 접두 토큰으로 다시 입력됩니다. 학습 중에는 버퍼에 앞서 주석 처리된 슬라이스가 저장되고, 지정된 확률에 따라 모델 예측으로 대체됩니다. 추론 시에는 에피소드마다 버퍼를 초기화하며 디코딩된 슬라이스가 생성될 때마다 확장합니다.
하이브리드 액션
또한 디코딩된 코드 슬라이스를 인식 및 제어 기본 요소 라이브러리에 적용해 실행하는 추론 모드를 Code-as-Policies 접근법에 따라 탐구합니다. 실행된 액션은 행동 전문가의 직접 액션과 통합됩니다. 배포 시에는 재계획 시점마다 두 채널의 실행을 조정합니다. 디코딩된 슬라이스가 유효성 및 진행도 검사를 통과할 때만 현재 단계를 맡으며, 그렇지 않으면 같은 순전파에서 나온 액션 청크가 다음 재계획 시점까지 로봇을 제어합니다.
실험
RoboTwin 2.0과 평행 그리퍼 및 손재주형 손을 사용하는 실제 환경의 8개 과제에서 AW-0을 평가합니다. 언어 지시 수행, 의미 추론, 스킬 실행을 평가하고, 변형된 시나리오에서 하이브리드 실행이 제공하는 강건성 향상도 살펴봅니다.
결론
코드 기반 스킬 계획을 예측 동역학 및 연속 제어와 통합하는 에이전틱 세계 행동 모델 AW-0을 제시합니다. 공동 디노이징을 통해 코드 전문가는 비디오 및 행동 생성을 구조화된 의미 정보로 안내합니다. 자동 주석 파이프라인을 통해 대규모 로봇 및 인간 시연 데이터에서 이러한 계획 인터페이스를 학습할 수 있습니다.
RoboTwin 2.0과 YAM 및 손재주형 손을 이용한 실제 조작 실험에서 언어 지시 수행, 의미 추론, 스킬 실행의 향상을 확인했으며, 하이브리드 실행은 강건성을 더욱 높였습니다. 이러한 결과는 스킬 재사용과 프로그램 기반 계획, 세계 예측, 실행 간 반복적 상호작용을 연구하는 향후 작업을 위한 통합 기반을 마련하며, 환경과 지속적으로 상호작용하고 환경으로부터 학습하는 에이전틱 시스템의 잠재적 토대를 제공합니다.
감사의 글
Zhuoyang Liu는 지도와 지원을 보내주신 베이징대학교 Shanghang Zhang 교수님께 감사드립니다.
AI 사용 고지
자동 주석 파이프라인에서 Gemini 3.1 Pro와 Claude Opus 4.8을 사용하는 Claude Code를 활용해 시연에 맞춘 프로그램 레이블을 생성하고 재사용 가능한 스킬 라이브러리를 추출했습니다. 시뮬레이션 시연을 수집하기 위한 실행 가능한 프로그램 생성에도 Claude Opus 4.8을 사용했습니다. 또한 문장 다듬기와 문체 개선, 그리고 일부 그림 준비에 GPT-6 Astra를 사용했습니다.
윤리 고지
이 연구는 로봇 및 1인칭 시점 인간 시연을 사용해 코드로 안내되는 로봇 조작용 세계 행동 모델을 연구합니다. 모든 사전 학습 데이터셋은 각각의 라이선스와 데이터 사용 약관에 따라 사용했습니다. 모든 사후 학습 시연은 본 연구에서 평가한 과제를 위해 연구팀이 수집했습니다.
사전 학습 데이터셋 통계
실제 조작 데이터셋 두 개, YAM과 1인칭 시점 인간 데이터를 합쳐 AW-0을 사전 학습합니다. YAM 코퍼스는 279개 과제의 73,101개 에피소드로 구성되며, 양손 로봇 원격조작 데이터 총 1,919.3시간을 포함합니다. 시연은 30 Hz로 녹화되었으며 왼쪽 손목, 오른쪽 손목, 상단 시점 RGB 카메라를 사용합니다.
1인칭 시점 인간 코퍼스는 327개 과제의 175,541개 에피소드로 구성되며 총 993.9시간 분량입니다. 단일 머리 장착형 RGB 카메라를 사용하고, 추적한 손 동작을 손마다 22-DoF 손재주형 손 관절 목표값으로 리타게팅합니다. 두 데이터 소스를 합치면 총 248,642개 에피소드와 2,913.2시간에 달합니다. 인간 데이터의 카메라 시점은 세 개의 입력 슬롯에 복제되며, 각 학습 윈도우에는 에피소드 수준의 지시문과 정렬된 프로그램 슬라이스가 연결됩니다.
코드 전문가와 언어 지시 수행
코드 기반 계획이 예측된 시각 동역학과 작업 의미 간의 정렬을 개선하는지 추가로 살펴봅니다. “과일을 정리해 마지막에는 왼쪽 그릇에 망고만 남도록 하세요.”라는 지시문을 주고, AW-0, 자연어 하위 목표 변형(Subgoal), 계획 스트림이 없는 모델(AW-0 without code)의 오른쪽 손목 카메라 비디오 생성 품질을 비교합니다. 이 작업은 의도된 물체를 식별하고 적절한 상호작용을 통해 원하는 결과를 장면에 반영해야 합니다. 세 변형은 동일한 작업과 장면 설정에서 평가하며, 서로 다른 롤아웃에서 얻은 초기 관측은 비슷하지만 동일하지 않습니다.
예측된 미래는 작업 이해의 뚜렷한 차이를 보여줍니다. AW-0은 망고를 향해 상호작용을 유도하는 반면, Subgoal은 사과와 망고 중 어느 것을 대상으로 하는지 모호하고 AW-0 without code는 사과를 대상으로 합니다. 이는 구조화된 스킬 호출과 명시적 객체 인자가 자연어 하위 목표만 사용하는 것보다 비디오 예측에 더 구체적인 계획 조건을 제공함을 시사합니다. 지시문의 의미를 구체적인 상호작용과 연결함으로써 코드 스트림은 예측 동역학이 의도된 작업과 정렬되도록 돕습니다. 행동 전문가도 예측된 비디오 표현을 조건으로 사용하므로, 이러한 정렬은 주요 실험의 실행 결과를 보완하며 언어 지시 수행을 개선할 수 있는 경로를 제공합니다.
코드 전문가와 스킬 강건성
코드 기반 계획이 정밀 조작 중 물리 동역학 예측과 스킬 강건성을 개선하는지 추가로 살펴봅니다. Deal Poker에서 오른쪽 손이 카드를 슬롯에 삽입하는 마지막 단계를 중심으로, AW-0, Subgoal, AW-0 without code가 오른쪽 손목 카메라에 대해 예측한 미래 프레임을 비교합니다. 이 상호작용에서는 손에 든 카드를 좁은 입구에 맞춰 슬롯 안으로 유도해야 하므로, 정확한 예측을 위해 손과 카드, 수용부 간의 상대 운동이 중요합니다. 세 변형에는 동일한 에피소드에서 가까운 시간 단계에 샘플링한 초기 관측이 입력되며, 관측은 서로 비슷하지만 동일하지 않습니다.
예측된 미래는 삽입 동작의 뚜렷한 차이를 보여줍니다. AW-0은 카드가 슬롯에 더 정확하게 정렬되어 들어가는 모습을 묘사하는 반면, Subgoal과 AW-0 without code는 손과 조작 대상 주변에 흐림과 왜곡이 나타나며 삽입 과정의 일관성이 떨어집니다. 이는 명시적인 스킬 호출과 객체 인자가 손과 카드가 수용부를 기준으로 어떻게 움직여야 하는지 비디오 전문가가 더 잘 예측하도록 돕는다는 점을 시사합니다. 코드 전문가는 더 정확한 비디오 생성을 지원하고, 이를 통해 정밀 조작에 필요한 더 신뢰도 높은 예측 정보를 행동 전문가에 제공합니다.
하이브리드 액션 평가
“수건 접고 쌓기” 작업의 하이브리드 평가 정성 예시에서는 하나의 에피소드가 위쪽 줄에서 아래쪽 줄로 이어집니다. 손재주형 접기 동작은 주로 AW-0 행동 전문가의 직접 액션으로 수행하고, 수건에 접근하거나 쌓는 동작처럼 구조화된 움직임은 코드 실행으로 처리합니다. 이러한 동작은 쌓는 순서와 움직임 방향을 직접 안내해 시스템 전체의 의미 추론 능력을 향상시킵니다.
저수준 기본 동작
평행 그리퍼와 손재주형 손은 의미적 접촉 동사 열 가지를 공유하지만 저수준 기본 동작은 다릅니다. 그리퍼는 엔드 이펙터 자세를, 손재주형 손은 상대 운동을 사용합니다. 각 API 호출은 발생시키는 접촉 이벤트를 선언하므로 프로그램을 시연 데이터에 기반하도록 만들 수 있습니다.
자주 묻는 질문
AW-0이란 무엇인가요? AW-0은 코드 기반 스킬 계획을 예측 동역학 및 연속 제어와 통합하는 에이전틱 세계 행동 모델입니다.
AW-0은 계획 중 코드를 어떻게 사용하나요? 장면에 기반한 코드 전문가가 명시적 매개변수와 제어 로직을 갖춘 모듈형 스킬을 생성하며, 코드, 비디오, 제어를 공동으로 디노이징합니다.
AW-0의 하이브리드 실행이란 무엇인가요? 각 재계획 시점에 디코딩된 프로그램 슬라이스가 유효성 및 진행도 검사를 통과하면 제어를 맡고, 그렇지 않으면 행동 전문가의 액션 청크가 로봇을 제어합니다.
사전 학습에는 어떤 데이터셋을 사용하나요? AW-0은 YAM과 1인칭 시점 인간 데이터셋으로 사전 학습되며, 두 데이터셋은 총 248,642개 에피소드와 2,913.2시간의 데이터를 포함합니다.