로봇 정책을 100가지 가정 내 작업으로 확장

로봇 제어기로서의 LLM 에이전트

또 다른 연구 방향에서는 대규모 언어 모델을 사용해 로봇을 직접 제어합니다. 학습된 기술 중에서 선택하거나, 제어 코드를 작성하거나, 저수준 정책을 조율하는 방식입니다. 도구를 몇 시간 동안 사용할 수 있는 최첨단 모델이 등장하면서 시뮬레이션에서 실용적인 선택지가 되었습니다. 2026년 9월 공개된 GPT-6 Astra는 학습된 정책으로 해결하지 못한 일부 BEHAVIOR 작업을 해결할 만큼 성능이 뛰어났습니다. 이에 최종 제출에서는 14개 작업을 Astra 기반 에이전트로 라우팅합니다(섹션 9).

기여

• 처음부터 재학습하지 않고 작업 조건부 VLA를 50개에서 100개 작업으로 확장하는 방법: 기술 주석을 바탕으로 한 의미 기반 단계, 새로운 작업 및 단계 임베딩의 유사도 기반 초기화, 원격 조작 제어와 일치하는 21차원 동작 공간(섹션 3).
• 여러 수준에서 VLA에 레지스터, 스크래치 토큰, 어텐션 싱크를 도입했습니다. 학습이 진행 중인 도중 파라미터 수술을 통해 사전 학습된 SigLIP의 어텐션 싱크 이상치를 레지스터로 옮겨 어텐션 맵을 읽을 수 있게 했습니다(섹션 4).
• 분산을 줄인 다중 샘플 플로 매칭과, 단 한 번의 그래디언트 노이즈 측정으로 플로 샘플 수를 정하는 방법(섹션 5).
• 출처 정보, 진단, 복원 가능한 시뮬레이터 상태를 통해 클라우드 간 롤아웃을 확인하고 재사용할 수 있게 하는 평가 인프라. 또한 GPU당 시뮬레이터 6개를 통합적으로 실시간보다 빠르게 실행합니다(섹션 7).
• 학습된 정책이 약하고 에이전트의 성능이 더 나았던 14개 작업에 GPT-6 Astra를 사용하는 LLM 에이전트 경로(섹션 9).

코드, 모델 체크포인트, 2025년 시작 체크포인트, 평가 동영상 및 시각 자료는 프로젝트에서 확인할 수 있습니다.

이어받은 요소

2025년 솔루션에서 모델과 서빙 로직 대부분을 유지했습니다.

• 텍스트 대신 작업 임베딩: 각 작업에 학습된 임베딩을 사용하며, 프롬프트는 토큰화하지 않습니다.
• System 2 단계: 모델은 기본 작업 토큰을 바탕으로 현재 작업 단계를 예측하고 단계 임베딩을 조건으로 사용합니다. 추론 시에는 투표 방식으로 단계를 추적합니다.
• KV 혼합: 각 액션 전문가 계층은 모든 VLM 계층의 키와 값으로 이루어진 학습 가능한 혼합에 어텐션을 적용합니다.
• 다중 샘플 플로 매칭: VLM 프리픽스는 한 번 계산하고, 액션 전문가는 여러 플로 샘플에 대해 실행합니다(섹션 5).
• FAST 보조 손실: 학습 중 VLM은 목표 청크의 FAST 토큰도 예측합니다.
• 추론 시 상관관계 인식 인페인팅: 이전 청크에서 이미 확정한 동작이 다음 청크의 기준점이 되며, 동작 간 상관관계가 보정값을 아직 확정되지 않은 동작으로 전달합니다.

LeHome 솔루션에서는 학습 방식을 가져왔습니다. 가중치가 적용된 다중 데이터셋 로더, 보정된 상태 스케일링(2025년에는 정규화된 상태값 중 상당수가 상태 구간의 범위를 벗어나 잘렸습니다), 에피소드 종료 시 패딩 단계에 대한 손실 마스킹, 그리고 증강 세트(크롭, 회전, 색상 지터, 컷아웃, 카메라 및 상태 드롭아웃)입니다. 2026년에 새로 추가된 점은 작업이 완료된 뒤의 프레임, 즉 각 시연의 유휴 구간을 학습에 절대 사용하지 않는다는 것입니다.

50개에서 100개 작업으로 확장

2025년 솔루션은 50개 작업 중 일부로 각각 미세 조정한 체크포인트 4개를 사용했습니다. 2026년에는 체크포인트 하나로 100개 작업을 처리합니다. 2025년 점수에서 가장 큰 비중을 차지한 체크포인트를 시작점으로 사용하고, 단일 변환 스크립트로 새 작업 세트, 단계 구성, 동작 공간에 맞게 변환합니다. 2026년에 추가된 모든 파라미터는 0, 항등 또는 작은 정규분포로 초기화하므로 변환된 모델은 2025년 모델의 함수와 가까운 상태에서 시작합니다.

의미 기반 단계

2025년에는 기술 주석을 사용하지 않았기 때문에 System 2 단계를 각 에피소드의 시간에 따라 동일한 구간으로 나누었습니다(작업당 5–15개). 주석이 달린 시연 20,000개를 확보한 뒤 이 시간 구간이 실제 작업 단계와 얼마나 잘 맞는지 확인했지만, 일치도는 낮았습니다. 평균적으로 시간 단계 프레임 중 가장 흔한 주석 단계에 해당하는 비율은 50%뿐이었습니다(작업별 0.17–0.82). 또한 100개 작업의 시간 단계 1,093개 중 57%는 전체 프레임의 절반을 넘게 차지하는 단계가 없었고, 시간 단계의 경계도 무작위 경계보다 실제 단계 경계에 더 가깝지 않았습니다. 작업별 에피소드 길이는 20%씩 달라지므로, 단계가 11개인 작업에서는 고정된 시간 구간이 어느 쪽으로든 약 두 단계까지 어긋날 수 있습니다.

이를 주석으로 구성한 의미 기반 단계로 대체했습니다.

• 각 에피소드는 작업이 완료된 프레임에서 끝나며, 주석이 달린 기술의 순서는 해당 작업의 대표 순서(메도이드)에 맞춰 정렬됩니다. 재시도와 추가 단계는 현재 단계에 배정됩니다.
• 시연 간에 일치하는 지점을 기준으로 단계를 묶습니다. 시연자가 순서를 달리하는 부분(예: 물건 정리)은 순서에 구애받지 않는 진행 단계가 됩니다.
• 몇 가지 규칙으로 단계 구성을 조정합니다. 그리퍼 규칙으로 잡기 실패와 누르기를 구분할 수 있도록 잡기와 누르기 유형의 동작(누르기, 스위치, 토글)은 절대 같은 단계에 넣지 않습니다. 같은 가전제품의 외관이 비슷한 상태는 서로 다른 단계로 유지하고, 연속해서 반복되는 단계는 하나로 합치며, 마지막의 별도 동작이 아닌 매우 짧은 단계는 이웃 단계와 합칩니다.

그 결과 시간 단계 1,093개 대신 단계 413개(작업당 2–9개)를 얻었습니다. 모든 단계 레이블은 데이터셋 주석을 바탕으로 결정론적 스크립트를 사용해 다시 생성합니다.

새 작업 및 단계의 웜스타트

단계. 같은 방식은 한 단계 아래에도 적용됩니다. 기존 작업의 의미 기반 단계는 해당 작업의 2025년 시간 단계 임베딩을 각 시간 단계에 속한 프레임 수로 가중 평균해 초기화합니다. 새 작업의 단계는 유사한 기존 작업의 대응 단계로 초기화합니다(예: “냉장고 열기” 단계는 냉장고를 여는 기존 작업에서 가져옵니다). 단계 헤드의 출력 가중치도 같은 방식으로 변환합니다.

최소 동작 공간

2025년 모델은 32차원을 예측했으며, 그중 실제 차원은 23개였습니다(베이스 3, 몸통 4, 양팔 각 7, 그리퍼 2개). 동작 표현을 원격 조작에서 사용하는 자유도에 맞게 변경했습니다.

• 패딩 차원 9개를 제거했습니다.
• JoyLo 원격 조작 시스템은 몸통의 관절 4개를 각각 독립적으로 움직이지 않습니다. 몸통 제어는 두 가지입니다. translate는 몸통을 똑바로 선 자세에서 완전히 숙인 자세까지 세 가지 핵심 자세를 거치는 고정 경로를 따라 이동시키고, tilt는 세 번째 관절에 오프셋을 더합니다. 네 번째 관절은 항상 0입니다. 데이터셋의 211M 프레임에 있는 모든 몸통 명령은 정확히 이 형태이며, 네 관절값에서 translate와 tilt를 정확히 복원할 수 있습니다. 따라서 모델은 translate와 tilt를 예측하고, 출력값을 네 관절값으로 다시 매핑합니다.

그 결과 베이스 3, translate, tilt, 왼팔 7, 왼쪽 그리퍼, 오른팔 7, 오른쪽 그리퍼로 이루어진 21차원 동작 및 상태 공간을 얻었습니다. 상관관계가 있고 일부 중복되는 몸통 차원 4개를 의미 있는 두 차원으로 줄여, 시연 데이터에서 나타나지 않는 몸통 자세를 정책이 더 이상 생성하지 못하게 했습니다. 제어 공간이 공유되므로 에피소드 중 JoyLo 조작자가 정책에서 자연스럽게 제어를 넘겨받을 수도 있습니다. 나머지 차원의 가중치는 그대로 복사하고, 새로 추가된 몸통 행 2개는 0으로 초기화합니다.

어휘에도 같은 원칙을 적용합니다. 모델은 상태 구간 256개만 임베딩하고(FAST 토큰에는 자체 임베딩 테이블이 있음), Gemma의 임베딩 행 257,152개 중 256개만 유지합니다. 이를 통해 그래디언트를 받지 않으면서 모든 학습 체크포인트에 네 번씩 저장되던 파라미터 526M개(가중치, EMA, Adam 모멘트 2개)를 제거했습니다. 체크포인트당 약 8 GB를 절약합니다.

싱크, 스크래치 토큰 및 레지스터

이 작업은 디버깅에서 시작했습니다. 실패 원인을 파악하기 위해 롤아웃의 모든 단계에서 세 카메라에 대한 액션 토큰의 어텐션을 렌더링합니다. 웜스타트한 2025년 모델의 어텐션 맵은 거의 쓸모가 없었습니다. 모든 에피소드의 모든 프레임에서 세 카메라에 걸쳐 같은 몇 개의 셀만 밝게 나타났습니다(에피소드 평균 맵 간 상관관계는 0.97).

원인은 사전 학습된 SigLIP 위치 임베딩이었습니다. 일부 셀의 노름이 이상치 수준으로 높아(셀 (12,1)의 노름은 평균 22에 비해 313이며, 대부분 한 채널에 집중됨) 해당 셀의 토큰이 내용 없는 “주차 공간”처럼 어텐션을 받아들였습니다. 가장 높은 12개 셀이 전체 이미지 어텐션의 31.9%를 차지했고, 셀 (12,1) 하나만으로 오른쪽 손목 카메라 어텐션의 최대 29%를 차지했습니다. 이는 비전 트랜스포머와 언어 모델 연구에서 설명된 현상입니다. 소프트맥스는 초과 어텐션을 둘 곳이 필요하고, 모델은 일부 토큰을 그 용도로 재활용하면서 토큰이 담고 있던 정보를 잃습니다. 정보가 손실될 뿐 아니라 어텐션 맵도 읽을 수 없게 되었습니다.

이를 위해 모델의 네 수준에 전용 공간을 마련했습니다.

• SigLIP 레지스터: 각 카메라의 비전 타워 안에 위치 임베딩이 없는 학습 가능한 토큰 8개를 둡니다. 출력은 패치 토큰과 동일한 투영을 거쳐 프리픽스에 합류하며(토큰 24개), 해당 카메라와 함께 마스킹됩니다.
• VLM 스크래치 토큰: 프리픽스에 이미지와 양방향으로 어텐션하는 학습 가능한 토큰 8개를 둡니다.
• 액션 전문가 스크래치 토큰: 서픽스 시작 부분에 학습 가능한 토큰 4개를 둡니다.
• 두 트랜스포머의 모든 어텐션 계층에 어텐션 싱크: 쿼리 헤드마다 학습 가능한 로짓을 가진 가상 키를 둡니다. gpt-oss와 달리 KV 헤드마다 학습 가능한 값도 있으므로 싱크에 모인 어텐션은 버려지지 않고 학습된 벡터를 반환합니다.

또한 공유 SigLIP 인코더 뒤에 카메라별 선형 투영을 추가하고 항등 행렬로 초기화했습니다.

이 변경 사항에 대한 제거 실험은 수행하지 않았습니다. 수술 후 손실이 완전히 회복되었으므로 성능을 저해한다고 생각하지는 않습니다. 하지만 디버깅을 쉽게 해준다는 점 외에는 성공률을 높인다는 증거가 없습니다. 레지스터, 스크래치 토큰, 싱크의 개수도 상당히 임의적으로 정했습니다.

다중 샘플 플로 매칭

관측값당 여러 플로 샘플

노이즈가 큰 구간에 더 큰 가중치를 두는 [플로 샘플링 스케줄; 제공된 텍스트에 수식은 없습니다]를 사용합니다. 모든 [플로 샘플 수] 샘플은 프리픽스를 공유하며, 샘플의 그래디언트는 키와 값을 통해 VLM으로 역전파됩니다.

그래디언트 노이즈의 두 가지 원인

관측값 [배치 크기]개로 구성된 배치에서 그래디언트 분산은 세 가지 요인에서 발생합니다. 배치에 포함되는 관측값, 관측값에 적용되는 무작위 증강, 그리고 플로 추출 [플로 샘플 수]입니다. [플로 샘플 수]에 따라 줄어드는 것은 플로 추출 항뿐입니다.

샘플 수가 늘어나면 플로 추출이 그래디언트 분산에 기여하는 정도가 감소하며, 단일 추출 플로 분산은 별도로 표시합니다.

고정된 파라미터에서 한 번에 한 요인만 다시 추출하는 프로브로 세 항을 측정했습니다. 2025년 설정([독립적인 플로 추출 횟수])에서는 플로 추출이 그래디언트 분산의 21%, 증강이 38%, 관측값 선택이 42%를 차지했습니다. 배치 크기가 이 정도일 때 그래디언트 노이즈가 지배적이므로, 분산을 줄이는 것은 배치를 그에 비례해 늘리는 것만큼 가치가 있습니다.

따라서 노이즈를 줄이는 방법은 두 가지입니다. 관측값당 플로 샘플을 늘리면 플로 추출 항만 줄고, 배치를 늘리면 모든 항이 줄어듭니다. 두 방법 모두 연산 비용이 듭니다. 아래에서는 먼저 각 플로 샘플의 효율을 높인 뒤(섹션 5.3), 연산량 대비 두 방법을 비교합니다(섹션 5.4).

기타 최적화

그룹별 학습률. 최종 업데이트에 적용하는 그룹별 배수를 여러 가지 실험했습니다. 이 방식은 옵티마이저 상태에 영향을 주지 않으며 학습 재개 시 변경할 수 있습니다. 최종 설정에서는 액션 전문가, 액션 및 시간 투영, KV 혼합, 작업 및 단계 임베딩에 [보고된 배수]를 적용하고, 비전 타워를 포함한 나머지 모든 항에는 [보고된 배수]를 적용하며, 그래디언트는 2.0으로 클리핑합니다.

효율성. FAST 목표 토큰 수를 200개 대신 68개로 제한해(청크당 평균 37개) 스텝 시간을 약 9% 절약했습니다. 어텐션 키의 토큰 수가 16의 배수가 되도록 설정해 4–5%를 추가로 절약했습니다. 사용하지 않는 어휘를 제거해(섹션 3) 옵티마이저 상태와 체크포인트 크기를 약 8 GB 줄였습니다.

증강. 헤드 카메라: 무작위 크롭(98%) 및 회전([회전량]). 모든 카메라: 색상 지터 및 컷아웃 사각형(확률 0.3, 이미지의 최대 10%). 각 손목 카메라는 확률 0.05로, 모든 상태 토큰은 확률 0.02로 드롭합니다.

학습

제출된 체크포인트는 20,000개 시연 전체로 학습한 한 번의 실행에서 200k 스텝까지 진행한 결과이며, 변환된 2025년 체크포인트를 웜스타트로 사용했습니다. 학습은 두 단계로 진행했습니다.

• [첫 번째 단계의 설정은 제공된 텍스트에 없습니다], 배치 크기 480(수용 가능한 최대값), 130k 스텝, 최고 학습률 [학습률]. 스텝당 약 10.5 s가 걸렸습니다(초당 46개 샘플).

B300 단계의 전반부는 테스트베드 역할도 했습니다. 체크포인트에서 학습을 재개하며 실제 실행 중 여러 학습 파라미터와 모델 변경 사항을 시험하고, 효과가 있는 설정을 채택했습니다. 실행 대부분에서 옵티마이저는 [옵티마이저 설정]을 사용한 AdamW였고 EMA는 0.995였습니다. 코사인 스케줄에는 워밍업 5k 스텝을 적용했으며, 손실 가중치는 플로 매칭 1, 단계 헤드 0.1, FAST 0.05였습니다. 모델은 총 약 200M개의 학습 샘플을 보았으며, 이는 시연 데이터의 211M 프레임을 대략 한 차례 통과한 양입니다.

평가 인프라

긴 작업 100개를 평가하는 데는 비용이 많이 듭니다. 에피소드 하나의 실제 실행 시간은 수십 분까지 걸리고, 시뮬레이터를 시작하는 데 6–9분이 듭니다. 대회 기간 동안 평가 에피소드 약 9,000개, 환경 스텝 약 100M개, 시뮬레이션 시간으로 거의 1,000시간을 실행했습니다. 각 실행을 출처 정보, 진단 자료, 복원 가능한 장면 체크포인트와 함께 저장해 모델을 비교하고 실패를 살펴보며 기록된 상태에서 후속 실험을 시작할 수 있도록 했습니다.

클라우드 인프라

클라우드에 걸친 단일 기록. 로컬 머신과 두 클라우드 플랫폼(RunPod, 이후 Nebius)에서 평가를 실행했으며, 모든 실행 결과는 하나의 클라우드 버킷에 업로드했습니다. 웹 포털이 이를 자동으로 색인합니다. 각 실행에는 전체 출처 정보가 담긴 매니페스트가 포함됩니다. 코드 리비전과 변경 사항, 시뮬레이터 및 패키지 버전, 모든 평가기 및 서빙 인수, 제공된 체크포인트의 체크섬이 기록되며, 체크섬을 통해 실행 결과와 모델 레지스트리를 연결합니다.

풍부한 데이터. 기록된 평가에는 동영상과 리소스 텔레메트리뿐 아니라 스텝별 동작, 관측값 및 정책 진단, 추론 시간, BDDL 목표 진행도가 포함됩니다. 시작 시점, 30스텝마다, 종료 시점에 로봇과 초기화된 모든 장면 객체(비활성 상태 및 작업과 무관한 객체 포함)를 저장합니다. 따라서 저장 공간과 평가 속도 저하를 제한하면서 실패 지점에 가까운 복원 가능한 장면으로 복구 실험을 수행할 수 있습니다. 단, 저장된 스텝만 복원할 수 있습니다. 슬라이싱처럼 동작으로 새 객체가 생성되면 해당 객체를 다시 구성하는 데 필요한 장면 설명도 저장합니다.

복원 및 검토. 저장된 상태를 새 시뮬레이터에 불러와 롤아웃의 일부를 재생하거나 목표 지향 복구 실험을 시작할 수 있습니다. 포털에서 사람과 코딩 에이전트는 원하는 모델과 에피소드를 찾고, 결과를 비교하고, 목표 진행도와 나란히 동영상을 시청하고, 타임스탬프가 포함된 댓글을 남길 수 있습니다. 에이전트 롤아웃도 같은 저장소와 뷰어를 사용합니다.

제공된 논문 텍스트는 섹션 중간에서 끝납니다.

자주 묻는 질문

2026년 정책은 체크포인트 하나로 100개 작업을 어떻게 처리하나요? 2025년 체크포인트를 웜스타트로 사용하고, 의미 기반 작업 단계와 유사도 기반 초기화, 공유 21차원 동작 공간을 활용합니다.

시간 기반 단계를 의미 기반 단계로 대체한 이유는 무엇인가요? 시간 구간은 주석이 달린 작업 단계와 잘 맞지 않았습니다. 의미 기반 단계는 시연 주석을 바탕으로 구성되며 단계 수를 1,093개에서 413개로 줄입니다.

레지스터와 어텐션 싱크는 어떤 문제를 해결했나요? SigLIP 위치 임베딩의 일부 셀이 이미지 어텐션의 상당 부분을 끌어들여 어텐션 맵을 해석하기 어렵게 만들었습니다. 모델에 전용 레지스터, 스크래치 토큰, 어텐션 싱크를 추가했습니다.

평가 실행을 어떻게 재사용할 수 있게 했나요? 출처 정보, 진단 자료, 동영상, 복원 가능한 시뮬레이터 상태와 함께 실행 결과를 저장해 실패를 살펴보고 기록된 장면에서 후속 실험을 시작할 수 있도록 했습니다.