진단 실험에서는 단일 신호 주입과 다중 신호 패킹을 모두 다루며, 후보 로봇 신호 주입 방식이 비디오 확산 모델(VDM)의 디노이징 과정에서 어떻게 작동하는지 추적합니다. 여러 노이즈 수준에서 동결 디노이저가 주입된 잠재 표현을 얼마나 강하게 보정하는지 측정합니다. 잠재 공간에 로봇 신호를 배치하는 방식은 디노이저에 측정 가능한 영향을 미칩니다. 주파수 영역 패킹은 공간 타일링이나 불연속 캔버스 레이아웃보다 디노이저의 보정을 훨씬 적게 받는 잠재 표현을 만들어냅니다. 따라서 표현을 단순히 압축하는 것만으로는 충분하지 않으며, 효과적인 인터페이스는 데이터 분포를 고려해야 합니다.
MetaWAM은 Cosmos-Predict2 백본에 적용되어 RoboCasa, LIBERO, LIBERO-Plus 및 실제 Franka 탁상 작업 세 가지에서 평가됩니다. 여러 로봇 신호 프레임을 하나로 통합하면서 RoboCasa 프레임 주입 기준선을 능가합니다. 이 연구는 로봇 신호 주입을 공동 월드 액션 모델(WAM)을 위한 분포 인식형 잠재 인터페이스 문제로 재정의하고, 주파수 영역 패킹이 공간 신호 인코딩보다 사전학습 VDM의 사전 분포에 더 잘 부합한다는 진단 근거를 제시합니다. 또한 아키텍처 변경 없이 모든 로봇 신호를 하나의 디코더 없는 잠재 프레임에 담는 통합 주파수 영역 메타 프레임을 소개합니다.
분포 인식형 스펙트럼 리프팅
로봇 벡터를 공간 그리드 전체에 브로드캐스트하면 상수 패턴이 만들어지고, 값을 공간 영역별로 패킹하면 불연속이 발생합니다. 동기 분석에서는 이 두 가지를 실패 요인으로 확인했습니다. MetaWAM은 대신 로봇 변수를 주파수 영역에서 인코딩한 뒤 이를 공간 잠재 표현으로 다시 리프팅합니다.
채널 대역 레이아웃
각 메타 프레임에서 MetaWAM은 서로 다른 로봇 신호마다 별도의 채널 대역 하나씩을 할당해, 대역이 겹치지 않는 희소 계수 텐서를 구성합니다. 액션, 미래 고유수용감각 및 가치 슬롯을 선택하면 각각의 원래 형상이 복원됩니다. 태스크 및 현재 고유수용감각 대역은 입력으로 사용됩니다. 선택된 계수는 정규화된 신호를 직접 나타내므로 추가 역 DCT는 적용하지 않습니다.
슬롯 인식형 태스크 라우팅
이중 세분성 마스킹
라우팅은 두 가지 세분성으로 이루어집니다. 슬롯 수준 마스크는 메타 프레임에 모든 태스크 의미 정보를 담습니다. 단일 채널의 거친 마스크는 이 마스크에서 결정론적으로 도출되어 기존 비디오 디노이징 경로에 사용됩니다. 이에 따라 6개의 시각 프레임은 사전학습 VDM이 기대하는 인터페이스를 통해 조건화됩니다.
세밀한 마스크에는 모든 태스크 정보가 담깁니다. 거친 마스크에는 정보가 없으며, 백본과 바이트 수준의 호환성을 유지하기 위한 용도로만 존재합니다.
결론
MetaWAM은 로봇 신호 주입을 분포 정렬 문제로 다룹니다. 동결 디노이저 진단 결과는 공간 복제 및 영역 기반 대안보다 주파수 영역 패킹을 선호합니다. 고정 계수 슬롯과 분석적 DCT 판독을 통해 정책, 월드 모델 및 가치 학습을 위한 간결한 인터페이스를 제공합니다. RoboCasa, LIBERO, LIBERO-Plus 및 실제 Franka 작업에서 얻은 결과는 이 인터페이스의 효율성과 적용 가능성을 보여줍니다.
한계
태스크 중요도나 신호 규모가 크게 달라지면 고정 대역 레이아웃과 손실 가중치를 조정해야 할 수 있습니다. 지시문 수행 능력은 Cosmos-Predict2 백본의 한계에 영향을 받으므로, 언어 기반 정렬 성능을 높이는 것이 유용한 연구 방향입니다. LIBERO-Plus에서는 배경 및 로봇 초기 상태의 변화에도 민감한 것으로 나타납니다.
감사의 글
Guoqiang Liang과 Yiqi Lin은 NUS Guangzhou Research Translation and Innovation Institute (GRTII) 소속 박사과정 장학 프로그램의 지원을 받았습니다.
실험 세부 사항
동기 분석의 모든 실험은 Cosmos Policy와 함께 공개된 RoboCasa 데이터셋의 샘플을 사용합니다. 단일 신호 분석에서는 서로 다른 에피소드에서 액션 청크 30개를 무작위로 선택하고, 이 저차원 신호를 잠재 공간에 주입하는 여러 방법을 비교합니다.
다중 신호 패킹 분석에서는 해당 액션 청크와 고유수용감각 상태, 가치 레이블을 사용해 패킹된 메타 프레임의 여러 변형을 구성합니다. 이를 통해 동일한 사전학습 비디오 확산 모델에서 다중 신호 인코딩 방식별 분포 호환성을 평가할 수 있습니다.
평가에는 확산 노이즈 수준 5개를 사용합니다. 각 노이즈 수준에서 서로 독립적으로 샘플링한 노이즈를 사용해 디노이징을 5회 반복하고, 시행 결과의 평균을 계산합니다.
학습 세부 사항 및 실제 로봇 설정
RoboCasa 학습
MetaWAM은 NVIDIA H200 GPU 4개와 전역 배치 크기 1024를 사용해 RoboCasa에서 최적화 단계 12K회 동안 학습됩니다. 실제 경과 시간 기준으로 학습에는 64시간이 걸립니다. 기본 Cosmos-Predict2 모델의 모든 파라미터를 전체 미세 조정합니다.
정책은 32타임스텝 길이의 액션 청크를 예측하며, 정책에 다시 질의하기 전에 16스텝을 실행합니다.
추가 시각화 결과
실제 환경의 분포 외 평가에 대한 추가 정성적 결과에는 장면에 중간 정도의 변화가 있는 롤아웃이 포함됩니다. 여기에는 물체 위치 변경, 방해 물체 추가, 배경이나 레이아웃 변화가 포함됩니다. 이 사례들은 정량적 실제 환경 평가를 보완하며, 작업 공간의 시각적·공간적 변화에도 MetaWAM이 일관된 액션 궤적을 생성할 수 있음을 보여줍니다.
분석적 판독 및 대역 감독
정책, 월드 모델 및 가치 함수를 통합한 설정에서 로봇 신호는 태스크에 따라 명확한 조건 입력이나 예측 대상으로 사용될 수 있습니다. 따라서 학습형 인터페이스에는 신호별 인코딩과 디코딩, 그리고 마스크 인식형 라우팅이 필요합니다. 또한 인터페이스의 인코더를 업데이트하면 디노이저에 제시되는 잠재 타깃도 달라집니다.
영 초기화된 투영은 처음에 어떤 신호도 전달하지 않습니다. 반면 고정 패킹과 DCT/iDCT는 학습 시작 시점부터 정적인 분석적 매핑과 판독을 제공합니다. 관찰된 최적화 거동은 테스트한 설정에서 이 설계를 뒷받침하지만, 다른 아키텍처나 학습 절차에서 학습형 인터페이스가 작동할 수 없다는 뜻은 아닙니다.
자주 묻는 질문
MetaWAM은 어떤 목적으로 설계되었나요? 공동 월드 액션 모델에서 로봇 신호를 위한 통합 잠재 인터페이스를 제공하며, 신호를 하나의 주파수 영역 메타 프레임에 패킹합니다.
MetaWAM은 왜 주파수 영역 패킹을 사용하나요? 보고된 진단 결과에 따르면 동결 디노이저는 공간 타일링이나 불연속적으로 배치한 대안보다 주파수 영역으로 패킹된 잠재 표현을 덜 보정합니다.
평가에는 어떤 벤치마크와 태스크가 사용되었나요? RoboCasa, LIBERO, LIBERO-Plus 및 실제 Franka 탁상 작업 세 가지를 평가했습니다.
저자들은 어떤 한계를 지적하나요? 고정 대역 레이아웃과 손실 가중치를 조정해야 할 수 있으며, 성능은 언어 기반 정렬, 배경 변화 및 로봇 초기 상태 변화에 민감합니다.