스탠퍼드 연구진이 개발한 새로운 확산 정책 아키텍처는 로봇 팔과 이동 베이스가 여러 좌표 프레임을 동시에 고려하여 추론할 수 있게 해주며, 어떤 단일 프레임 정책보다 높은 성공률을 달성합니다. 여기에는 최적의 프레임을 미리 아는 오라클도 포함됩니다. Mixture of Frames (MoF) 정책은 서로 다른 공간 참조 프레임에서 병렬로 동작 궤적의 노이즈를 제거하고, 예측을 융합하여 각 움직임에 가장 쉬운 경로를 선택하는 최초의 시각운동 시스템입니다.
목차
연구진이 구축한 것
대부분의 로봇 조작을 위한 확산 정책은 단일 좌표 프레임(예: 로봇 베이스 기준 좌표 또는 엔드 이펙터 기준 좌표)에서 동작을 정의합니다. 그러나 양팔 이동 조작 작업의 서로 다른 단계는 서로 다른 프레임에서 학습하기 더 쉽습니다. 물체를 잡는 것은 손목 프레임에서 자연스럽고, 베이스를 이동하는 것은 월드 프레임에서 더 쉽습니다. MoF는 후보 프레임(예: 베이스 기준, 왼쪽 그리퍼 기준, 오른쪽 그리퍼 기준, 궤적 기준 프레임) 각각에 대해 하나의 전문 노이즈 제거기를 설치하고 병렬로 실행하여 이 문제를 해결합니다.
각 노이즈 제거 단계에서 모든 전문가는 동일한 표준 노이즈 동작을 각자의 프레임으로 변환하여 받고, 해당 프레임에서 노이즈를 예측한 후 예측을 다시 표준 프레임으로 변환합니다. 학습된 라우터 모듈이 이러한 예측에 가중치를 부여(소프트 전문가 혼합 조합 또는 균일 앙상블을 통해)하여 최종 노이즈 제거 동작을 생성합니다. 중요한 점은 MoF가 노이즈가 있는 동작의 변환을 정확하고 미분 가능하게 만드는 열 벡터 동작 표현을 도입하여 다중 프레임 노이즈 제거가 올바르게 작동하도록 한다는 것입니다.
주요 결과
연구팀은 BiGym(RB-Y1 로봇 사용)과 DexMimicGen(이중 암 이동 플랫폼 사용)의 두 벤치마크에서 9가지 양팔 이동 조작 작업에 대해 MoF를 평가했습니다. 작업에는 따르기, 서빙, 놓기, 협력적 양손 잡기가 포함되었습니다. MoF는 다음과 비교되었습니다:
- 단일 프레임 정책(베이스 기준, 왼쪽 그리퍼 기준, 오른쪽 그리퍼 기준, 궤적 기준)
- 오라클 최적 프레임(각 작업에 대한 최적 단일 프레임 정책, 사후 선택)
- MoE-DP(여러 프레임을 조건으로만 사용하지만 하나의 프레임에서 노이즈를 제거하는 표준 전문가 혼합 확산 정책)
MoF는 9가지 작업 모두에서 모든 단일 프레임 기준선을 일관되게 능가했습니다. 더욱 놀라운 점은 MoF가 오라클 최적 프레임 정책도 능가했다는 것입니다. 즉, 여러 프레임을 결합하면 최적의 단일 프레임보다 더 나은 성능을 얻을 수 있습니다. 개선 폭은 두 팔과 베이스가 동시에 움직여야 하는 양손 따르기와 같이 복잡한 협력이 필요한 작업에서 가장 컸습니다. MoF는 인위적으로 주입된 프레임 불확실성에도 강건하여 프레임 변환에 노이즈가 있을 때도 높은 성공률을 유지했습니다.
작동 방식
MoF는 신경망이 무작위 노이즈를 깨끗한 동작 궤적으로 반복적으로 노이즈 제거하는 표준 확산 정책 프레임워크를 기반으로 합니다. 핵심 혁신은 동기화된 다중 프레임 노이즈 제거 루프입니다.
- 동작 표현: 동작은 표준 프레임(예: 베이스 프레임)에서 열 벡터로 표현됩니다. 중요한 점은 이 표현이 노이즈가 있는 동작을 포함하여 다른 프레임으로의 정확한 선형 변환을 지원하여 근사 오류 없이 일관된 다중 프레임 처리를 가능하게 한다는 것입니다.
- 다중 프레임 노이즈 제거 단계: 표준 프레임에서 현재 노이즈가 있는 동작이 주어지면 MoF는 미분 가능한 변환을 사용하여 이를 각 전문가의 프레임으로 변환합니다. 각 전문 노이즈 제거기(작은 신경망)는 자신의 프레임에서 노이즈를 예측합니다. 이 노이즈 예측은 다시 표준 프레임으로 변환되어 융합됩니다.
- 융합: 두 가지 융합 방법이 테스트되었습니다: 전문가당 소프트 가중치를 출력하는 학습된 라우터와 균일 평균화. 학습된 라우터는 노이즈 제거 손실과 함께 종단간 훈련됩니다. 사용되지 않는 전문가가 표류하는 것을 방지하기 위해 보조 전문가별 손실이 각 전문가의 출력을 자신의 프레임에서 실제 노이즈와 직접 비교하여 감독합니다.
MoE-DP와의 중요한 차이점: MoE-DP에서는 혼합이 조건 경로(특징)에서 발생하고 단일 노이즈 제거기가 하나의 프레임에서 작동합니다. MoF에서는 혼합이 노이즈 제거 계층에서 발생합니다. 각 전문가는 동일한 기본 동작의 서로 다른 매개변수화에 대해 작업합니다. 즉, MoF는 모델 용량을 늘리는 대신 프레임 간 동작 분포의 자연스러운 구조를 활용할 수 있습니다.
로봇공학에 중요한 이유
양팔 이동 조작은 오늘날 로봇공학에서 가장 어려운 과제 중 하나입니다. 두 팔과 이동 베이스를 조정하면 높은 차원의 동작 공간과 복잡한 의존성이 생성됩니다. 올바른 동작 프레임을 선택하는 것은 작업에 따라 달라지며 단계에 따라 다릅니다. 고정된 선택은 성능 저하를 초래합니다. MoF는 수동 튜닝이나 작업별 엔지니어링 없이 이 선택을 자동화합니다.
실용적 의미: - 엔지니어링 부담 감소: 운영자는 더 이상 각 새 작업에 대해 최적의 동작 프레임을 수동으로 선택할 필요가 없습니다. MoF가 자동으로 적응합니다. - 더 나은 협력: 정책이 여러 프레임에서 동시에 추론할 수 있게 함으로써 MoF는 팔과 베이스가 협력해야 하는 작업(예: 큰 물체를 함께 나르기)을 처리합니다. - 플러그 앤 플레이: MoF는 최소한의 변경으로 기존 확산 정책 파이프라인에 추가할 수 있습니다. 다중 프레임 전문가는 동일한 비전 인코더를 공유합니다.
창고나 서비스 환경에서 양팔 휴머노이드 로봇 또는 협동 로봇을 통합하는 팀은 MoF를 통해 작업별 프레임 엔지니어링 없이 보다 강건하고 데이터 효율적인 조작이 가능해집니다.
한계점 및 미해결 질문
현재 연구는 상대적으로 작은 확산 정책(1억 파라미터 미만)에 초점을 맞추고 있습니다. MoF를 대규모 시각-언어-행동(VLA) 모델로 확장하는 것은 아직 탐구되지 않았습니다. 라우터는 순수하게 노이즈 제거 손실로만 훈련되어 작업 성공과 완벽하게 일치하지 않을 수 있습니다. 행동 인식 훈련 목표가 실제 성능을 향상시킬 수 있습니다. MoF는 또한 사전 정의된 후보 프레임 세트와 정확한 고유수용성 변환이 필요합니다. 자동 프레임 발견 및 불확실한 변환 추정에 대한 강건성은 열린 연구 방향입니다. 마지막으로, 여러 전문 노이즈 제거기를 실행하는 계산 비용은 프레임 수에 따라 선형적으로 증가하므로 자원이 제한된 로봇의 실시간 배포에 문제가 될 수 있습니다.
자주 묻는 질문
좌표 프레임이 무엇이며 왜 중요한가요? 좌표 프레임은 로봇 동작을 설명하는 기준점을 정의합니다(예: 로봇 베이스 기준, 왼쪽 그리퍼 기준, 물체 기준). 서로 다른 작업은 동작 분포가 더 단순해지기 때문에(예: 회전 또는 병진 감소) 서로 다른 프레임에서 학습하기 더 쉽습니다. MoF는 여러 프레임을 동시에 사용하여 이를 활용합니다.
MoF는 표준 전문가 혼합 정책과 어떻게 다른가요? 표준 MoE는 단일 노이즈 제거기 전에 특징을 혼합하지만, MoF는 노이즈 제거 예측 자체를 혼합합니다. 각 전문가는 서로 다른 동작 매개변수화에서 작업합니다. 이를 통해 정책은 서로 다른 프레임에서 동작의 자연스러운 단순성을 활용할 수 있습니다.
MoF는 단일 팔 또는 비이동 로봇에서도 작동하나요? 네. 이 개념은 여러 좌표 프레임이 관련된 모든 로봇(예: 이동 베이스에 장착된 단일 팔 또는 고정 이중 팔 로봇)에 적용됩니다. 후보 프레임은 그에 따라 선택할 수 있습니다.
실험에 사용된 하드웨어는 무엇인가요? 연구팀은 BiGym(RB-Y1 휴머노이드 스타일 로봇)과 DexMimicGen(이중 암 이동 플랫폼)의 두 시뮬레이션 벤치마크를 사용했습니다. 실제 환경 검증은 진행 중인 작업으로 언급되었습니다.
결론
Mixture of Frames는 간단하면서도 강력한 아이디어입니다. 확산 정책이 하나의 좌표 프레임에서 학습하도록 강요하는 대신 여러 프레임에서 학습하고 결과를 결합하도록 하는 것입니다. 실험은 다양한 양팔 이동 조작 작업에서 일관된 성능 향상을 보여주었으며, 최적의 단일 프레임 오라클조차 능가했습니다. 이 연구는 시각운동 정책이 각 작업의 구조에 맞게 공간 추론을 자동으로 조정하는 미래를 제시합니다.