LiMA는 장기 예측과 로봇 동작을 함께 생성하는 비동기 멀티스케일 프레임워크입니다. 서로 다른 시간 규모에서 생성을 조정하는 이중 시스템 구조를 활용하여, 장기 계획을 포기하지 않으면서도 빠른 물리적 실행을 가능하게 합니다. 두 시스템 간 일관성을 유지하기 위해 LiMA는 추상적 의도에서 모터 명령으로의 전이를 연속적인 확률적 수송 과정으로 모델링하는 잠재 슈뢰딩거 브리지 결합 메커니즘을 도입하여, 고수준 상상과 저수준 정제 사이의 특징 결합을 강화합니다. 이 통합은 장기 예측을 실시간 물리 관측에 기반하게 하는 시공간 적응형 조절을 통해 한층 향상됩니다.
LiMA는 장거리 상상과 반응형 실행을 분리하여 생성 추론 병목을 극복합니다. 적응형 조절 기능을 갖춘 잠재 슈뢰딩거 브리지 메커니즘은 의미적 의도와 물리적 동작 사이의 긴밀한 특징 정렬을 보장합니다. 평가 결과, 실제 환경의 작업에서 경쟁력 있는 성능을 보이는 동시에 실시간 애플리케이션에 필요한 계산 효율성을 제공하는 것으로 나타났습니다.
사전 지식
생성 정책의 전역 목적은 미래 시간 범위에서 동기화된 동작 청크를 예측하기 위한 조건부 결합 확률 분포를 모델링하는 것입니다. 이 동작 청크는 두 로봇 팔과 모든 손가락의 조정된 궤적을 포함합니다.
생략된 수식은 동기화된 미래 팔 및 손가락 동작을 예측하는 데 사용되는 조건부 결합 분포를 정의합니다.
실험 설정
로봇 설정
실제 환경 평가 플랫폼은 두 대의 6-DoF UR5 로봇 팔과 두 개의 22-DoF SharpaWave 다섯 손가락 정밀 손으로 구성된 양손 시스템입니다.
다중 모달 인지 시스템은 Intel RealSense D435 카메라 세 대로 구성됩니다. 이 중 한 대는 전역 자기중심 시점을 촬영하는 머리 장착형 카메라이며, 두 대는 국소적인 협응 시점을 촬영하는 손목 장착형 카메라입니다. VIVE Trackers는 사람 손목의 상대적 공간 궤적을 포착하여 UR5 팔의 실시간 말단장치 제어에 사용합니다. 동시에 MetaGlove Pro 장갑을 통해 사람 손가락의 구성을 기록하고, 관절 공간 운동학적 재타기팅 파이프라인을 통해 22-DoF SharpaWave 손에 매핑합니다.
기준선 및 평가 프로토콜
LiMA는 다음 네 가지 최신 기준선과 비교 평가됩니다.
- Gr00T N1.6 및 InternVLA-A1은 두 가지 비전-언어-액션 모델입니다.
- VPP 및 Cosmos-Policy는 두 가지 월드-액션 모델입니다.
성공률(SR)은 전체 작업 완료 여부를 측정하며, 진행 성공률(PSR)은 하위 작업의 진척도를 세밀하게 측정합니다.
결론
LiMA는 장기 상상과 고주파 반응형 실행을 연결하는 비동기 확산 기반 프레임워크입니다. 이중 시스템 구조를 통해 Future Dreamer와 Motion Refiner를 조정하여, 실시간 반응성을 유지하면서 장기 예측을 가능하게 합니다. 또한 잠재 슈뢰딩거 브리지 결합 메커니즘은 전략적 의도와 정제된 실행 잠재 표현을 더욱 정렬합니다. 광범위한 실제 환경 실험에서 LiMA는 강건성과 효율적인 폐루프 제어를 유지하면서 복잡한 장기 조작 성능을 향상시키는 것으로 나타났습니다.
이 연구는 중국 국가자연과학기금과 베이징 자연과학기금의 지원을 받았습니다. 저자들은 하드웨어 설정을 지원해 준 Xiansheng Chen과 수학적 도출에 관한 귀중한 통찰 및 심도 있는 논의를 제공한 Yuqi Cao, Liangwei Hu, Liwen Tong에게 감사의 뜻을 전합니다.
추가 구현 세부 사항
잠재 토큰 배치
Cosmos-Policy의 잠재 텐서 규약에 따라 LiMA는 다중 모달 정보를 5차원 잠재 텐서로 표현합니다. 각 잠재 텐서는 다음과 같이 구성됩니다.
생략된 수식은 5차원 잠재 텐서 내 다중 모달 정보의 구성을 명시합니다.
로봇 시스템 설정
실제 로봇 시스템에는 시스템 운영 파이프라인, 시연 데이터 수집, 정책 실행 프로토콜이 포함됩니다. 실험 플랫폼은 UR5 로봇 팔 두 대, SharpaWave 다섯 손가락 정밀 손 두 개, Intel RealSense D435 카메라 세 대, VIVE Trackers, MetaGlove Pro 장갑으로 구성됩니다.
인지 시스템
RealSense D435 카메라 세 대는 전역 시점 하나와 손목 주변의 국소 시점 두 개를 제공합니다. 머리 장착형 카메라는 목표 물체, 조작 작업 공간, 작업 진행 상황을 포함한 전체 작업 장면을 촬영합니다. 두 손목 장착형 카메라는 왼쪽 및 오른쪽 로봇 팔의 말단장치 가까이에 설치되어 접촉 영역 주변의 국소 시각 관측을 제공합니다.
동일한 로봇 작업 공간에서 일관된 다중 시점 관측을 확보하기 위해 모든 카메라는 실험 전에 고정합니다.
시연 데이터 수집
사람의 시연을 수집하는 동안 작업자는 VIVE Trackers를 사용하여 양쪽 손목의 상대적 공간 궤적을 기록합니다. 이러한 궤적은 변환된 후 두 UR5 팔의 말단장치 기준 궤적으로 매핑됩니다.
MetaGlove Pro 장갑은 양손의 손가락 관절 구성을 기록합니다. 이러한 구성은 관절 공간 운동학적 재타기팅 파이프라인을 통해 22-DoF SharpaWave 정밀 손에 매핑됩니다.
이 과정에서 동기화된 양팔 궤적, 양손 관절 궤적, 다중 시점 시각 관측, 언어 기반 작업 지시가 생성됩니다.
정책 실행
정책 실행 중 각 정책은 현재 관측에 기반하여 단기 동작 청크를 생성합니다. 예측된 동작 청크에는 두 UR5 팔의 동작 명령과 왼쪽 및 오른쪽 SharpaWave 정밀 손의 관절 명령이 포함됩니다.
각 실제 시험 전에 로봇의 초기 자세와 해당 작업 지시를 포함한 실험 장면을 미리 정의된 초기 상태로 재설정합니다. 모든 방법은 동일한 로봇 플랫폼, 카메라 구성, 작업 초기화 프로토콜, 성공 기준에 따라 평가됩니다. 이를 통해 LiMA와 기준선의 비교가 하드웨어 조건이나 평가 설정이 아니라 주로 정책 설계의 차이를 반영하도록 합니다.
기준선 설정
LiMA는 통합 월드-액션 모델링, 비전-언어-액션 모델링, 비디오 예측 기반 정책 학습을 포괄하는 대표적인 기준선들과 비교됩니다. 모든 기준선은 LiMA와 동일한 실제 로봇 플랫폼, 카메라 구성, 작업 초기화 프로토콜, 성공 기준에 따라 평가됩니다.
각 기준선에 대해서는 해당되는 경우 원 논문에서 권장한 학습 또는 미세 조정 프로토콜을 따릅니다. 동작 출력은 동일한 양손 정밀 로봇 실행 인터페이스에 맞게 조정합니다.
Cosmos-Policy
Cosmos-Policy는 통합 월드-액션 모델링 기준선으로 사용됩니다. 로봇 동작을 시각 잠재 공간으로 매핑하고, 통합 DiT 기반 잡음 제거 과정에서 동작 잠재 표현과 이미지 잠재 표현을 공동으로 잡음 제거합니다.
Cosmos-Policy는 LiMA와 가장 유사한 통합 생성 기준선입니다. 두 방법 모두 공유 생성 프레임워크 안에서 미래 시각 정보와 로봇 동작을 모델링하기 때문입니다.
GR00T N1.6
GR00T N1.6은 대표적인 최신 비전-언어-액션 기준선으로 사용됩니다. 로봇의 시각 관측과 언어 지시를 입력으로 받아 비전-언어 모델을 통해 의미를 이해합니다. 로봇 상태를 조건으로 하는 동작 헤드는 잡음 제거 과정을 통해 연속 동작을 생성합니다.
이 설정에서는 공식적으로 권장된 2,000회의 학습만으로는 양손 정밀 조작 작업에서 최상의 성능이 충분히 드러나지 않았습니다. 따라서 NVIDIA H100 GPU 한 대에서 GR00T N1.6을 50,000회 학습한 후의 결과를 보고합니다.
VPP
VPP는 역동역학 모델 기준선으로 사용됩니다. 비디오 모델이 생성한 미래 시각 예측을 조건 정보로 사용하고, 이를 동작 DiT에 입력하여 로봇 동작을 생성합니다.
이 기준선은 먼저 미래 시각 상태를 예측한 다음 예측된 시각 조건으로부터 동작을 도출하는 패러다임을 나타냅니다.
InternVLA-A1
InternVLA-A1은 장면 이해, 생성형 예측, 동작 모델링을 하나의 프레임워크로 통합하는 Mixture-of-Transformers 아키텍처를 채택합니다. 이 모델은 환경에 대한 풍부한 표현을 학습하고, 예측된 미래 시각 관측을 사용하여 동작 생성을 유도합니다.
두 개의 6-DoF 로봇 팔과 두 개의 22-DoF 정밀 손으로 구성되어 총 56 DoF를 이루는 양팔·양손 시스템의 전체 관절 구성을 수용하기 위해 동작 차원을 그에 맞게 확장합니다. 모델은 사전 학습된 InternVLA-A1-3B 체크포인트에서 초기화합니다.
공정한 비교 프로토콜
작업별 학습이 필요한 경우 모든 기준선은 동일한 실제 시연 데이터셋으로 학습하거나 미세 조정합니다. 기준선은 LiMA와 동일한 작업 지시, 다중 시점 로봇 관측, 로봇 상태 입력, 평가 프로토콜을 사용합니다.
기준선마다 고유한 동작 표현 방식이 다르므로, 출력 인터페이스는 팔 동작 명령과 정밀 손 관절 명령을 포함하는 동일한 양손 실행 공간에 맞게 조정합니다.
평가 지표
실제 로봇 실험에서는 주로 성공률, 진행 성공률, 추론 시간을 사용합니다.
성공률
성공률은 정책이 전체 작업을 완료할 수 있는지를 측정합니다. 각 실제 환경 시험에서 로봇이 미리 정의된 모든 작업 목표를 올바른 순서로 완료한 경우에만 해당 시험을 성공으로 간주합니다. 따라서 SR은 각 정책의 최종 작업 수준 성공을 반영합니다.
추론 시간
추론 시간은 폐루프 로봇 제어에서 실시간 배포 가능성을 평가합니다. 이는 현재 관측으로부터 정책이 실행 가능한 동작 청크 하나를 생성하는 데 필요한 평균 시간을 의미합니다.
동기식 추론 모델의 경우 추론 시간은 정책 전체 추론의 각 순전파 시간으로 측정합니다. LiMA에서는 Future Dreamer가 더 낮은 빈도로 업데이트되고 Motion Refiner가 고주파 제어 루프에서 실행됩니다. 따라서 비동기 실행에서의 유효 평균 추론 시간을 보고합니다.
구체적으로는 하나의 비동기 업데이트 주기 내 Future Dreamer 추론 시간 하나와 모든 Motion Refiner 추론 시간의 합을 해당 주기에서 생성된 동작 청크 수로 나누어 계산합니다.
공정한 비교를 위해 모든 추론 시간 측정은 동일한 로봇 플랫폼과 실행 프로토콜에서 수집합니다.
일반화 평가
미지의 배경 및 미지의 조명 설정에서 LiMA는 이러한 변화가 작업 영역의 시각적 외관에 직접 영향을 미치기 때문에 기본 설정에서보다 성공률 변동이 크게 나타납니다.
그럼에도 LiMA는 이러한 조건에서도 기준선보다 우수한 성능을 보입니다. 이러한 결과는 비동기 Dreamer–Refiner 설계와 잠재 의도-실행 결합이 작업 관련 시각 요인과 작업 무관 시각 요인이 모두 변하는 상황에서도 LiMA가 더 강한 강건성을 유지하도록 돕는다는 것을 시사합니다.
자주 묻는 질문
LiMA는 무엇을 하도록 설계되었나요? LiMA는 장기 예측과 로봇 동작을 함께 생성하는 동시에 정밀 조작을 위한 고주파 반응형 실행을 지원합니다.
평가에 사용된 로봇 플랫폼은 무엇인가요? 이 플랫폼은 6-DoF UR5 팔 두 대, 22-DoF SharpaWave 다섯 손가락 정밀 손 두 개, Intel RealSense D435 카메라 세 대, VIVE Trackers, MetaGlove Pro 장갑으로 구성됩니다.
정책 평가에 사용되는 지표는 무엇인가요? 실험에서는 성공률, 진행 성공률, 추론 시간을 사용합니다.
LiMA는 실시간 제어를 어떻게 지원하나요? 비동기 실행을 통해 Future Dreamer는 더 낮은 빈도로 작동하고 Motion Refiner는 고주파 제어 루프에서 실행됩니다.