로봇 월드 모델은 동작마다 중요한 객체를 학습한다 (2026)

CausalWAM은 학습된 희소 관련성 라우터를 로봇 월드-액션 모델에 추가해, 다음 동작에 가장 유용한 장면 요소에 연산을 집중시킵니다. 탁상 위 쌓기 작업과 관련 조작 평가에서 라우팅된 토큰은 모델이 가장 좋은 성능을 보인 과업 대부분에서 성공률을 유지했습니다. 반면 토큰 수가 같은 무작위 토큰 집합은 성능이 더 낮았습니다. 이는 폐루프 제어에서 적절한 시각 정보를 선택하는 일이 중요하다는 근거입니다.

연구진은 무엇을 만들었나요?

CausalWAM은 어떤 시각 정보에 주의를 기울일지 선택하는 메커니즘을 추가한 로봇 조작용 월드-액션 모델입니다. 월드-액션 모델은 로봇이 보는 것과 로봇의 행동, 그리고 그 행동에 따른 장면의 변화를 연결합니다. CausalWAM의 라우터는 시각 토큰, 즉 입력의 일부를 나타내는 작은 단위에 관련성 가중치를 부여하고, 그중 희소한 하위 집합을 행동 생성 경로로 전달합니다.

목표는 단순히 토큰 수를 줄이는 것이 아니라 유용한 토큰을 남기는 것입니다. 예를 들어 큐브 쌓기 장면에서는 조작 중인 큐브와 목표 큐브가 배경의 많은 부분보다 다음 동작과 더 직접적으로 관련됩니다. 라우터는 과업과 관련된 이러한 세부 정보에 우선순위를 두도록 학습하면서도, 필요한 경우 다른 장면 요소에도 주의를 분산합니다.

연구진은 공개된 Cosmos 3 Nano 체크포인트에서 시스템을 초기화한 뒤 RoboCasa365 시연 데이터로 후속 학습을 진행했습니다. 논문은 모델의 학습 목표와 데이터 설정을 유지하면서 새로 초기화한 행동 관련성 라우터를 활성화하는 라우터 초기화 단계를 설명합니다. 시연 데이터는 LeRobot 스타일 형식의 Cosmos 3 파이프라인을 통해 처리했습니다.

그 결과 시각 입력과 행동 생성 사이에 학습된 선택 단계를 둔 조작 모델이 만들어졌습니다. 추적할 객체 목록을 사람이 미리 정해 입력한 로봇은 아닙니다.

주요 결과는 무엇인가요?

제공된 논문 본문에 보고된 결과에 따르면 희소 라우팅 경로는 폐루프 성공률을 높입니다. 폐루프 제어에서 로봇은 동작을 수행하고 새로운 관측을 받은 뒤, 업데이트된 장면을 바탕으로 계속 행동합니다. 따라서 단일 동작이 그럴듯해 보이는지만 확인하는 것이 아니라 일련의 의사결정을 평가합니다.

가장 명확한 비교는 라우터가 유용한 시각 정보를 선택하는지, 아니면 단지 입력량만 줄이는지를 시험합니다. C-only 조건은 가장 성능이 좋은 과업에서 기본 정책의 성능 대부분을 유지했습니다. 토큰 수는 같지만 무작위로 선택한 Random 조건에서는 성공률이 훨씬 크게 하락했습니다. 보고된 네 가지 과업 모두에서 결과의 순서는 같았습니다.

시각화는 라우터가 어떤 정보에 주의를 기울이는지 구체적인 예를 보여줍니다. 큐브 쌓기 중에는 가중치가 과업에 관여하는 큐브에 집중됩니다. RoboCasa365 롤아웃에서도 비슷한 집중이 나타나지만, 일부 프레임에서는 로봇 팔과 벽을 포함해 가중치가 더 넓게 퍼집니다.

이는 의미 있는 정성적·상대적 결과이지만, 제공된 본문에는 표 2의 수치가 포함되어 있지 않습니다. 따라서 성공률 차이의 크기나 다른 방법과의 직접적인 수치 비교는 여기서 제시할 수 없습니다.

CausalWAM은 어떻게 작동하나요?

모델은 로봇 장면의 시각 표현에서 시작합니다. 시각 토큰을 모두 행동 관련 경로에 똑같이 전달하는 대신, CausalWAM의 라우터는 과업 관련성을 추정해 각 토큰에 가중치를 부여합니다. 그런 다음 희소 라우팅 경로가 더 작고 선별된 집합에 모델의 처리를 집중시킵니다. 쌓기 작업에서는 움직이는 객체와 그 객체가 도달해야 하는 대상을 중심으로 선택할 수 있습니다.

핵심적인 실험 대조 조건은 Random입니다. 이 조건은 라우팅 조건과 토큰 수는 같게 유지하되, 토큰을 무작위로 선택합니다. 이 비교를 통해 입력 토큰 수를 줄이는 효과와 더 나은 토큰을 선택하는 효과를 구분할 수 있습니다. 라우팅 조건이 네 가지 과업 모두에서 더 나은 성능을 보였으므로, 토큰 선택은 입력 크기를 줄이는 것만으로 얻는 효과 이상의 기여를 하는 것으로 보입니다.

CausalWAM은 독립적인 객체 탐지기가 아니라 월드-액션 모델로 학습됩니다. 라우터는 시각 정보와 로봇 행동을 연결하도록 학습된 모델 안에서 작동합니다. 논문에 설명된 학습 방식은 사전 학습된 Cosmos 3 Nano 체크포인트에서 시작해 정류 흐름 목적 함수를 사용합니다. 넓은 의미에서 정류 흐름은 모델이 한 표현을 목표를 향해 변환하도록 학습하는 방법입니다. 이 논문은 라우터를 초기화하고 학습하는 동안에도 이 목적 함수를 유지합니다.

학습 설정에는 RoboCasa365 학습 데이터와 함께 묶인 사전 계산된 Wan 2.2 비디오 잠재 표현도 사용됩니다. 보고된 학습 실행은 H200 노드 1개, bfloat16 정밀도, 어텐션 계산을 위한 선택적 활성화 체크포인팅을 사용했습니다. 제공된 본문에는 정확한 옵티마이저 단계 수나 하드웨어 구성 전체가 나와 있지 않아, 해당 세부 사항은 신뢰성 있게 보완할 수 없습니다.

논문의 시각화는 라우터의 동작을 해석하는 데 도움이 되지만, 가중치가 높은 모든 토큰이 형식적인 개입의 의미에서 인과 요인임을 입증하지는 않습니다. 여기서 ‘인과’는 모델이 행동과 관련된 장면 정보를 학습한다는 뜻으로 이해하는 것이 가장 적절하며, 강조된 객체 하나만 바꾸면 특정 결과가 발생한다는 증거를 뜻하지는 않습니다.

로봇공학에서 왜 중요한가요?

로봇은 당면한 과업에 필요한 객체가 일부뿐인 복잡한 장면에서 행동해야 하는 경우가 많습니다. 그런 객체에 우선순위를 두는 모델은 의사결정 역량을 관련 없는 시각 정보에 덜 사용하고, 장면에 더 근거한 행동을 선택할 수 있습니다. 조작 작업에서는 물체를 목표 위치로 옮기거나, 장애물 가까이에서 물체를 다루거나, 실행 중 바뀌는 장면에 대응하는 데 도움이 될 수 있습니다.

토큰 수를 맞춘 CausalWAM의 비교는 엔지니어에게 특히 유용합니다. 로봇 행동 모델의 시각 입력을 임의로 압축해서는 안 되며, 얼마나 많은 정보를 남기는지만큼 어떤 정보를 남기는지도 중요할 수 있음을 시사합니다. 한 번만 동작을 생성하는 것이 아니라 새로운 카메라 관측을 반복해서 받아 작동해야 하는 로봇 정책을 개발하는 팀에 실질적인 설계 고려 사항을 제공합니다.

이 연구는 아직 실험 단계의 모델입니다. 바로 배포할 수 있는 제품이거나 여러 로봇 유형에서 성능 향상이 입증되었다는 근거는 아닙니다. 하지만 행동 관련 지각에 초점을 맞춘 이 연구는 로봇이 무엇을 추적할지 결정하는 방법, 장면 변화에 반응하는 방식, 그리고 압축된 입력 표현으로도 과업 성공률을 유지할 수 있는지 등 실제 배포와 관련된 질문과 맞닿아 있습니다. 자동화 도입 방안을 살펴보는 팀은 Robot Overflow에서 창고 로봇을 둘러보거나 중고 로봇 판매 목록을 확인할 수 있습니다.

한계와 미해결 질문은 무엇인가요?

보고된 비교는 네 가지 과업을 다루며, 제공된 본문은 모델이 특히 좋은 성능을 보인 과업을 강조합니다. 라우터가 익숙하지 않은 객체, 새로운 카메라 위치, 다른 로봇 팔, 더 길고 다양한 과업에 얼마나 잘 전이되는지는 입증되지 않았습니다. 실제 로봇 시각화는 라우터가 주의를 기울이는 대상을 보여주는 유용한 근거지만, 제공된 결과에는 광범위한 실제 환경 수치 평가가 없습니다.

성공률 표의 수치도 제공된 본문에서 빠져 있어 효과의 크기를 정확하게 평가하기 어렵습니다. 추론 속도, 메모리 사용량, 연산 절감량도 발췌문에 정량화되어 있지 않습니다. 희소 라우팅이 처리 부담을 줄일 수는 있지만, 측정 없이는 그런 이점을 단정할 수 없습니다.

마지막으로 어텐션 가중치는 인과관계 검증과 같지 않습니다. 후속 연구에서는 선택된 장면 요소에 개입했을 때 모델의 결정이 예측 가능한 방식으로 안정적으로 달라지는지 보여줄 필요가 있습니다.

독자가 알아야 할 점은 무엇인가요?

CausalWAM은 물리적 로봇을 제어하나요? 논문은 RoboCasa365 결과와 함께 로봇 조작 평가 및 실제 로봇 동작 시퀀스를 보고합니다. 제공된 본문만으로는 실제 로봇 테스트의 범위를 충분히 설명하기 어렵습니다.

라우터는 무엇을 선택하나요? 시각 토큰에 관련성 가중치를 부여하고, 그중 희소한 하위 집합을 행동 관련 경로로 전달합니다. 쌓기 사례에서는 과업에 관여하는 큐브에 가중치가 집중됩니다.

무작위 토큰 선택과 비교하는 이유는 무엇인가요? Random 조건은 토큰 수를 같게 유지하면서 토큰을 무작위로 선택합니다. 이 조건에서 성공률이 더 크게 하락했다는 점은 토큰 수를 줄이는 것만으로는 충분하지 않으며, 과업 관련 시각 정보를 선택하는 것이 중요하다는 점을 시사합니다.

‘인과’는 모델이 원인과 결과를 입증한다는 뜻인가요? 제공된 결과를 근거로 그렇게 볼 수는 없습니다. 이 이름은 행동과 관련된 장면 정보를 학습한다는 의미이며, 형식적인 인과 주장을 하려면 추가적인 개입 기반 증거가 필요합니다.

결론

CausalWAM은 로봇 월드-액션 모델에 학습된 관련성 라우터를 추가하고, 유용한 시각 토큰을 선택하는 방식이 같은 수의 토큰을 무작위로 선택하는 방식보다 조작 성능을 더 잘 유지할 수 있음을 보여줍니다. 그 결과는 과업 인식형 지각의 실용성을 뒷받침하지만, 접근법이 얼마나 잘 일반화되는지와 측정 가능한 효율성 향상을 제공하는지는 여전히 밝혀지지 않았습니다.