새로운 로봇 제어 시스템 AHA-WAM은 느린 시각적 계획과 빠른 동작 실행을 분리하여, 로봇이 실시간 반응 속도를 늦추지 않고 미리 생각할 수 있게 합니다. 이 접근 방식은 최첨단 조작 성능을 달성하면서 추론 지연 시간을 90% 이상 줄여, 세계 인식 로봇 제어를 실제 배포에 적합하게 만듭니다.
목차
연구진이 만든 것
대부분의 로봇 제어 시스템은 시각적 이해와 행동 예측을 결합한 '세계-행동 모델'을 사용할 때, 세계 모델링과 행동 분기가 모두 동일한 짧은 시간 범위에서 작동하도록 강제합니다. 이는 제어에 거의 기여하지 않는 상관관계가 높은 인접 비디오 프레임에 연산을 낭비하게 만듭니다.
AHA-WAM(비동기 수평 적응형 세계-행동 모델)은 이러한 결합을 깨뜨립니다. 서로 다른 주파수로 작동하는 두 개의 분리된 확산 트랜스포머를 사용합니다. 느린 '비디오 플래너'는 미래 시각 상태에 대한 시간적으로 확장된 잠재 계획을 생성하고, 빠른 '동작 실행기'는 최신 관찰을 기반으로 실시간 폐쇄 루프 명령을 발행합니다. 비디오 플래너는 낮은 속도(예: 6프레임마다)로 작동하는 반면, 동작 실행기는 높은 주파수(예: 모든 프레임)로 작동합니다.
이러한 비동기 설계를 가능하게 하는 두 가지 핵심 혁신이 있습니다. 첫째, 관찰 유도 비디오-컨텍스트 라우팅(OVCR)은 비용이 많이 드는 비디오 모델을 다시 실행하지 않고도 캐시된 플래너의 비디오 컨텍스트를 현재 관찰에 동적으로 적응시킵니다. 둘째, 수평 적응형 오프셋 훈련은 동작 실행기가 플래너와 실행기 사이의 임의의 위상 변화를 처리하도록 훈련시켜, 플래너가 마지막으로 새로고침한 시점에 관계없이 올바른 동작을 생성할 수 있게 합니다.
주요 결과
RoboTwin 2.0 다중 작업 조작 벤치마크에서 AHA-WAM은 성공률에서 최첨단 세계-행동 모델과 일치하거나 능가하면서 훨씬 빠르게 실행되었습니다:
| 모델 | 평균 성공률 | 추론 지연 시간 (단계당) |
|---|---|---|
| Fast-WAM (기준) | ~75% | 168 ms |
| AHA-WAM (PyTorch eager) | ~78% | 18 ms |
| AHA-WAM (TensorRT 최적화) | ~78% | 4.2 ms |
| Naive-Async (OVCR 또는 메모리 없음) | ~60% | N/A |
AHA-WAM은 6개 작업에서 평균 78%의 성공률을 달성하여 Fast-WAM과 비슷했으며, CUDA 최적화 후 단계당 지연 시간을 168ms에서 4.2ms로 줄여 40배 속도 향상을 이루었습니다. 이는 약 238Hz의 제어 주파수로, 일반적인 세계-행동 모델의 약 6Hz를 훨씬 웃돕니다.
절제 연구 결과, 롤링 K/V 메모리 또는 OVCR 메커니즘 중 하나를 제거하면 성공률이 10~15% 포인트 떨어졌고, 둘 다 제거하면 성능이 60% 미만으로 떨어졌습니다. 전체 AHA-WAM 설계는 속도와 정확성을 모두 유지하는 데 필수적이었습니다.
실제 양팔 조작 작업(따르기, 핀 삽입, 집어 옮기기)은 시뮬레이션 결과를 확인시켜 주었습니다. AHA-WAM은 동기식 기준선과 비슷한 성공률로 작업을 완료하면서 사람과 유사한 속도로 부드러운 폐쇄 루프 제어를 가능하게 했습니다.
작동 원리
AHA-WAM의 아키텍처는 서로 다른 시간 척도에서 작동하는 두 개의 확산 트랜스포머(DiT)로 구성됩니다.
느린 비디오 플래너는 6개의 비디오 프레임(과거와 미래)의 긴 수평선을 처리하고 잠재 '세계 계획'—장면이 어떻게 진화할지에 대한 압축된 표현—을 생성합니다. 플래너 새로고침 간에 장기 컨텍스트를 유지하기 위해 6개의 과거 관찰을 저장하는 FIFO 버퍼인 롤링 키/값 메모리를 사용하여 6개의 동작 단계마다 비동기적으로 실행됩니다. 이 메모리는 플래너 내부에 있으며 실행기가 직접 접근하지 않습니다.
빠른 동작 실행기는 모든 실시간 단계에서 작동합니다. 현재 카메라 관찰과 캐시된 플래너 비디오 컨텍스트(플래너가 최근에 새로고침되지 않은 경우 오래되었을 수 있음)를 가져와 짧은 동작 청크(일반적으로 3~4단계)를 생성합니다. OVCR은 이 격차를 메웁니다: 현재 관찰에 따라 조건화된 32개의 학습된 '라우팅 쿼리'를 사용하여 오래된 플래너 컨텍스트에서 관련 정보를 동적으로 선택하고 병합하여, 플래너가 새로 실행되었을 때 생성할 내용을 시뮬레이션합니다.
수평 적응형 오프셋 훈련이 중요합니다. 훈련 중에 동작 실행기는 플래너 새로고침과 동작 단계 사이의 다양한 위상 오프셋에 노출됩니다. 이는 비동기 타이밍을 보상하도록 가르쳐, 완벽하게 동기화된 플래너 업데이트를 기대하지 않도록 합니다.
실시간 추론 중에는 동작 경로가 크게 최적화됩니다: 동작 DiT, OVCR 모듈, 이미지 인코더는 CUDA-그래프 캡처와 함께 TensorRT로 컴파일되어 중복 계산과 버퍼 복사를 제거합니다. 10단계 확산 디노이징 루프는 단일 정적 그래프에서 실행되어 지연 시간을 PyTorch eager의 ~18ms에서 NVIDIA RTX 5090D GPU에서 ~4.2ms로 줄입니다.
로봇 공학에서의 중요성
세계-행동 모델은 로봇이 동작과 함께 미래 비디오 프레임을 예측하도록 훈련하면 더 일반화 가능하고 물리적으로 grounded된 정책을 얻을 수 있음을 보여주었습니다. 그러나 높은 계산 비용으로 인해 연구실로 제한되었습니다—실제 로봇이 100Hz 이상에서 비디오 확산 모델을 실행할 수 없기 때문입니다.
AHA-WAM은 값비싼 세계 모델을 실시간 제어 루프에서 분리하여 이 문제를 해결합니다. 비디오 플래너는 장면 진화에 대해 추론하는 데 시간을 들일 수 있는 반면, 동작 실행기는 인간 호환 속도로 반응합니다. 이는 다음을 가능하게 합니다:
- 특수 저지연 GPU 없이 기존 로봇 하드웨어에 세계-행동 모델 배포
- 반응형 안전성을 희생하지 않으면서 계획이 중요한 장기 작업(예: 조립, 주방 조작)으로 확장
- 동작 지연 시간을 늘리지 않고 더 풍부한 시각적 표현(3D, 물리 기반)을 플래너에 통합
중고 협동 로봇 또는 산업용 로봇을 평가하는 운영 관리자에게 AHA-WAM은 환경에 대해 '생각'하고 빠르게 '행동'할 수 있는 로봇—동적 공장 환경에서 빈 피킹, 삽입, 조립과 같은 작업에 중요한 능력—을 향한 한 걸음입니다.
한계와 미해결 과제
AHA-WAM은 여러 시간적 하이퍼파라미터(플래너 업데이트 빈도, 비디오 수평선, 동작 청크 크기)를 도입하며, 현재 작업별 튜닝이 필요합니다. 최적 구성은 로봇의 형태와 작업 역학에 따라 달라질 수 있습니다—빠르게 움직이는 팔은 조심스러운 집기-놓기 로봇보다 짧은 수평선이 필요할 수 있습니다.
비디오 플래너는 여전히 2D 이미지 관찰에서 작동하며 3D 기하학과 물리학이 부족합니다. 잠재 계획은 시각적 추세를 포착하지만, 객체 상호작용, 힘, 컴플라이언스를 명시적으로 모델링하지 않습니다. 플래너를 3D 장면 표현이나 학습된 물리학으로 확장하면 장기 추론이 개선될 수 있습니다.
마지막으로, 평가는 6개의 시뮬레이션 작업과 소수의 실제 데모만 다룹니다. 비동기 설계의 확장성과 일반성을 검증하려면 더 넓은 범위의 벤치마크(예: 장기 탁상 작업, 모바일 조작)가 필요합니다.
자주 묻는 질문
AHA-WAM은 Fast-WAM과 같은 다른 세계-행동 모델과 어떻게 다른가요? Fast-WAM은 비디오와 동작 분기를 동일한 짧은 수평선에서 동기식으로 실행하여 인접 중복 프레임에 계산을 낭비합니다. AHA-WAM은 이를 비동기식으로 분리하여 비디오 플래너가 더 긴 수평선에서 작동하도록 하고 동작 실행기는 높은 주파수로 작동합니다.
비동기 설계가 동기식 모델에 비해 작업 성공률을 낮추나요? 아니요—RoboTwin 벤치마크에서 AHA-WAM은 78%의 성공률을 달성하여 동기식 기준선과 일치하거나 능가하면서 추론 지연 시간을 40배 줄였습니다.
AHA-WAM을 실시간으로 실행하려면 어떤 하드웨어가 필요한가요? 최적화된 동작 경로는 단일 NVIDIA RTX 5090D GPU에서 단계당 4.2ms로 실행되어 238Hz 제어를 가능하게 합니다. 느린 비디오 플래너는 동일한 GPU가 필요하지만 6~10단계마다 한 번만 실행됩니다.
AHA-WAM이 모바일 로봇이나 저렴한 하드웨어에서 작동할 수 있나요? 추론 최적화는 TensorRT와 CUDA-그래프에 의존합니다—지난 2세대의 모든 NVIDIA GPU가 이를 지원해야 합니다. 모바일 또는 엣지 배포에는 추가 압축 또는 양자화가 필요합니다.
결론
AHA-WAM은 시각적 계획과 반응형 제어를 비동기적으로 분리함으로써 세계-행동 모델이 빠르고 정확할 수 있음을 보여줍니다. OVCR 메커니즘과 수평 적응형 훈련이 이러한 분리를 효과적으로 만들어 최첨단 조작 성능을 40배 낮은 지연 시간으로 달성합니다. 이 설계는 실시간 응답성을 잃지 않으면서 미리 계획할 수 있는 새로운 종류의 로봇 정책을 향한 방향을 제시합니다.