새로운 모델 MaskWAM은 비디오 예측과 미래 마스크 예측을 결합하여 로봇이 작업에 중요한 객체에 집중하도록 돕습니다. 장면이 어떻게 보일지와 어떤 영역이 중요한지 모두 예측하도록 학습함으로써, 이 시스템은 복잡하고 다양한 환경에서 더 강력한 조작을 달성합니다.
목차
연구진이 구축한 것
MaskWAM은 표준 RGB 비디오 예측을 보조 미래 마스크 예측으로 확장한 엔드투엔드 세계-행동 모델입니다. 핵심 아이디어는 간단합니다. 로봇이 미래 프레임을 예측하는 방법을 배우는 동시에 작업 관련 객체의 분할 마스크를 예측하는 방법도 배웁니다. 이는 모델이 모든 픽셀을 동일하게 취급하지 않고 공간적으로 명시적인 영역에 행동을 기반하도록 강제합니다.
이 시스템은 두 개의 브랜치를 가진 확산 트랜스포머 아키텍처를 사용합니다: RGB와 마스크 잠재를 공동으로 잡음 제거하는 시각 브랜치와 행동 청크를 잡음 제거하는 경량 행동 전문가입니다. 언어 명령은 교차 주의를 통해 주입되며, 고유수용성 상태 정보는 행동 브랜치에 통합됩니다. 배포 중에 로봇은 선택적으로 첫 프레임 마스크 프롬프트(언어 명령어나 사람의 포인트 클릭에서 SAM3에 의해 자동 생성됨)를 사용하여 모호한 작업에서 대상을 명확히 할 수 있습니다.
이 모델은 시뮬레이션 환경과 헤드 장착형 RealSense D455 및 손목 장착형 D405 카메라가 있는 실제 이중 팔 Xtrainer 로봇에서 훈련 및 평가되었습니다. 주석 파이프라인은 Qwen3-VL과 SAM3를 사용하여 언어 명령어에서 마스크를 자동 생성하며, 사람 검증이 수행됩니다. 에피소드의 91%는 수정이 필요하지 않았습니다.
주요 결과
MaskWAM은 Caltech Robot Manipulation Benchmark (CRBM)와 일련의 실제 조작 작업에서 평가되었습니다. CRBM에서 모델은 여러 일반화 범주에서 이전 세계-행동 모델을 능가했습니다.
- 방해물 견고성: 작업 공간에 새로운 방해물이 도입되었을 때 MaskWAM은 가장 강력한 기준선보다 성공률이 15포인트 향상되었습니다.
- 시각적 변형: 조명, 배경 질감, 카메라 시점의 변화에서 MaskWAM은 최고 RGB 전용 세계 모델의 71%에 비해 88%의 성공률을 유지했습니다.
- 언어 모호성 작업: 명령어만으로 대상 객체를 특정할 수 없는 경우(예: 두 개의 컵이 있을 때 "컵을 집어 올려"), 첫 프레임 마스크 프롬프트는 정확도를 43%에서 92%로 높였습니다.
- 실제 배포: Xtrainer를 사용한 집어-옮기기, 붓기, 쌓기 작업에서 MaskWAM은 강력한 RGB 전용 기준선의 67%에 비해 82%의 시도에서 성공했습니다. 가장 큰 성과는 상당한 폐색이나 시각적으로 유사한 방해물이 있는 작업에서 나타났습니다.
이러한 결과는 잠재 확산 파이프라인에 직접 마스크 예측을 추가하면 추가 추론 시간 처리가 필요 없이 더 작업 인식적인 정책이 생성된다는 것을 보여줍니다.
작동 방식
MaskWAM은 이미 훈련 중에 잠재 마스크를 사용하는 Mask-of-Thought (MoT) 아키텍처를 기반으로 합니다. 핵심 혁신은 미래 마스크 예측을 RGB 프레임과 함께 공동 최적화 대상으로 취급하는 것입니다.
파이프라인은 RGB 프레임과 마스크 프레임을 공유 잠재 공간으로 압축하는 고정 VAE 인코더로 시작됩니다. 이 잠재는 확산 트랜스포머 백본에 들어가기 전에 채널 차원을 따라 연결됩니다. 마스크 정보를 사전 훈련된 시각 잠재 공간과 정렬함으로써 각 잠재 위치는 외관과 작업 관련 공간 안내를 모두 인코딩합니다.
MoT 아키텍처는 두 개의 브랜치가 있습니다:
- 시각 브랜치: 표준 DiT가 시간 단계에 걸쳐 융합된 RGB+마스크 잠재를 잡음 제거합니다. 고정된 T5 인코더의 언어 특징은 교차 주의를 통해 주입됩니다.
- 행동 전문가: 경량 트랜스포머가 행동 속도 청크를 잡음 제거합니다. 고유수용성 상태와 잡음이 있는 행동을 입력으로 받은 다음, 시각 브랜치의 특징에 대한 공동 주의를 사용하여 제어 예측을 생성합니다.
훈련 목표는 세 가지 흐름 일치 손실을 결합합니다:
- RGB 비디오 흐름 손실
- 마스크 표현 흐름 손실
- 행동 궤적 흐름 손실
이 공동 손실은 모델이 작업 중요 영역과 명시적으로 정렬된 시각적 역학을 학습하도록 장려합니다. 배포 중에 모델은 선택적 첫 프레임 마스크 프롬프트를 받을 수 있습니다. 제공되면 마스크가 인코딩되어 초기 마스크 잠재로 공급되어 전체 롤아웃을 해당 대상에 효과적으로 고정합니다. 제공되지 않으면 모델이 처음부터 마스크를 예측합니다.
자동 주석 파이프라인은 비전-언어 모델(Qwen3-VL)을 사용하여 명령어를 구문 분석하고 SAM3를 사용하여 에피소드 전체에서 마스크를 분할 및 추적합니다. 모호한 작업의 경우 사람이 첫 프레임에 단일 지점을 제공합니다. 파이프라인은 50개 에피소드를 주석 처리하는 데 약 3분이 소요됩니다.
로봇 공학에 중요한 이유
MaskWAM은 현재 세계 모델의 근본적인 한계를 해결합니다. 모든 장면 요소를 동일하게 취급하여 방해물과 객체 변형에 취약합니다. 어떤 영역이 중요할지 명시적으로 예측함으로써 모델은 훨씬 더 잘 일반화되는 작업 인식 표현을 개발합니다.
실제 배포의 경우, 이는 로봇이 재고가 변하는 창고, 다른 도구 배치가 있는 주방, 또는 새 부품이 있는 조립 라인과 같은 지저분한 환경에서 작동할 수 있음을 의미합니다. 모델의 첫 프레임 마스크 프롬프트 사용 능력은 제로샷 명확화도 가능하게 합니다. 즉, 매번 새로운 객체 배열에 대해 재훈련할 필요 없이 작업자가 첫 프레임에서 대상을 클릭하기만 하면 됩니다.
이 접근 방식은 아키텍처에 구애받지 않으며 모든 확산 기반 세계 모델에 적용될 수 있습니다. 로봇 공학 실무자에게 이는 기존 스택을 재설계하지 않고도 실용적인 업그레이드 경로를 제공합니다. 시스템은 표준 하드웨어(RealSense 카메라, 이중 팔 플랫폼)와 오픈 소스 구성 요소(SAM3, T5, Qwen3-VL)를 사용하므로 연구실과 기업이 쉽게 접근할 수 있습니다.
유사한 조작 시스템을 배포하려는 분은 Robot Overflow에서 인간형 로봇 둘러보기에서 이중 팔 플랫폼을 확인하거나, 중고 협동 로봇을 통해 더 가벼운 자동화 작업을 살펴볼 수 있습니다.
한계 및 미해결 질문
MaskWAM은 훈련 중 마스크 감독과 배포 중 분할 기반 프롬프트에 의존합니다. 자동 주석 파이프라인이 효율적이지만, 투명 객체, 중첩 부품, 조명 불량이 있는 복잡한 실제 환경에서 신뢰할 수 있는 마스크를 추출하는 것은 여전히 간단하지 않습니다. 파이프라인의 91% 자동 승인율은 제어되지 않은 조건에서는 떨어집니다.
또한 논문은 계산 제약으로 인해 대규모 RGB-마스크-행동 사전 훈련이 수행되지 않았다고 인정합니다. 규모를 확장하면 특히 분포 외 시나리오에서 성능이 더 향상될 수 있습니다. 또한 현재 평가는 단기 작업에 초점을 맞추고 있습니다. 순차적 마스크 추론이 필요한 다단계 작업은 탐구되지 않았습니다.
마지막으로, 모델은 추론 시간에 마스크 예측이 필요하여 계산 오버헤드가 추가됩니다. 저자들은 이것이 최소한임을 보여주지만, 실시간 애플리케이션을 위해서는 마스크 품질과 추론 속도 간의 트레이드오프에 대한 더 많은 연구가 필요합니다.
자주 묻는 질문
MaskWAM의 핵심 혁신은 무엇인가요? MaskWAM은 표준 RGB 비디오 예측에 미래 마스크 예측을 추가하여 훈련 및 추론 모두에서 모델이 작업 중요 영역에 집중하도록 강제합니다.
MaskWAM은 훈련 중 수동 마스크 주석이 필요한가요? 아니요. 저자들은 Qwen3-VL과 SAM3를 사용하여 언어 명령어에서 마스크를 자동 생성하는 파이프라인을 구축했으며, 모호한 경우에만 사람 검증이 필요합니다. 에피소드의 91%는 수정이 필요하지 않습니다.
첫 프레임 마스크 프롬프트는 어떻게 작동하나요? 배포 중에 사용자는 첫 프레임에 마스크를 제공할 수 있습니다. 이 마스크는 언어에서 자동 생성되거나 수동으로 클릭하여 생성됩니다. 이 마스크는 잠재 스트림에 인코딩되어 전체 롤아웃을 해당 대상에 고정합니다.
실험에 사용된 하드웨어는 무엇인가요? 이중 팔 Xtrainer 로봇 플랫폼과 헤드 장착형 RealSense D455 카메라, 근접 촬영용 손목 장착형 D405 카메라입니다.
결론
MaskWAM은 견고한 로봇 조작을 위해 무슨 일이 일어날지 예측하는 것만큼이나 무엇이 중요한지 예측하는 것이 중요하다는 것을 보여줍니다. 확산 트랜스포머 내에서 마스크 프롬프트와 마스크 예측을 통합함으로써, 이 모델은 방해물, 변형, 모호한 명령어에 대해 아키텍처를 크게 변경하지 않고도 훨씬 더 나은 일반화를 달성합니다.