공유 기술로 서로 다른 세 로봇의 몸체를 제어하는 하나의 정책 (2026)

DyPES-VLA 단일 체크포인트는 로봇의 형태와 행동 공간이 서로 다른데도 RoboTwin에서 89.02%, 휴머노이드 벤치마크에서 59.25%, LIBERO에서 98.0%를 기록했다. 이 시스템은 영상 기반 미래 예측과 로봇별 제어 헤드를 결합해, 하나의 정책이 조작 작업에 대한 공통 이해를 갖도록 하면서도 각 로봇에 필요한 저수준 명령은 그대로 유지한다.

연구진은 무엇을 만들었나?

DyPES-VLA는 하나의 학습된 체크포인트로 서로 다른 로봇 형태를 제어하도록 설계된 비전-언어-행동 시스템이다. 여기서 로봇 형태(embodiment)란 양팔 로봇, 휴머노이드, 단일 팔 매니퓰레이터처럼 로봇의 물리적 구조와 제어 인터페이스를 뜻한다. 이러한 플랫폼은 관절 수, 움직임의 범위, 그리퍼 구성, 모터에 전달하는 행동 명령의 형식이 서로 다르다.

이 시스템은 조작 작업 중 서로 공유할 수 있는 부분과 로봇별로 달라야 하는 부분을 분리한다. 공유 시각 표현은 물체, 손, 팔, 주변 환경이 시간에 따라 어떻게 변하는지에 대한 일반적인 정보를 학습한다. 이후 별도의 행동 구성 요소가 이 공통 정보를 각 로봇에 맞는 명령으로 변환한다.

학습은 두 단계로 진행된다. 먼저 행동 라벨이 없는 대규모 영상 모음으로 학습한다. 이 영상에는 EgoDex의 사람 시점 조작 영상과, 공동 학습에 사용된 로봇 형태를 대상으로 생성한 시뮬레이션 시연 데이터가 포함된다. 첫 번째 단계에서는 비전-언어 모델, 작업과 관련된 정보를 추출하는 쿼리 토큰, 미래의 시각 상태를 예측하는 SANA 헤드를 학습한다.

두 번째 단계에서는 이렇게 학습한 표현을 활용해 여러 로봇 형태에 걸쳐 정책을 학습한다. 로봇별 혼합 전문가 행동 헤드는 각 로봇의 고유 제어 공간을 담당하고, 로봇 형태 메타데이터는 특정 입력을 생성한 로봇과 데이터 출처를 시스템에 알려준다.

핵심 결과는 무엇인가?

DyPES-VLA 단일 체크포인트는 세 가지 시뮬레이션 벤치마크에서 공개된 최고 성능 방법들과 대등하거나 더 나은 결과를 냈다. 평가 대상은 14자유도 양팔 로봇, 29자유도 휴머노이드, 7자유도 단일 팔 로봇이었다.

벤치마크	로봇 형태	DyPES-VLA 결과	비교
RoboTwin 2.0, clean	14자유도 양팔 로봇	88.78%	Qwen-VLA보다 2.68%p 높음
RoboTwin 2.0, randomized	14자유도 양팔 로봇	89.26%	Qwen-VLA보다 2.06%p 높음
RoboTwin 2.0, 평균	14자유도 양팔 로봇	89.02%	Qwen-VLA보다 2.37%p 높음
RoboCasa-GR1	29자유도 휴머노이드	59.25%	ABot-M0 58.3%, Qwen-VLA 56.7%보다 높음
LIBERO	7자유도 단일 팔 로봇	98.0%	Fast-WAM 97.6%, OpenVLA-OFT 97.1%보다 높음

절제 실험에서 가장 큰 성능 하락을 일으킨 요소는 미래 예측을 제거했을 때였다. 성능은 RoboTwin 2.0에서 2.4%p, RoboCasa-GR1에서 2.5%p 떨어졌다. 첫 번째 단계의 사전 학습만 제거해도 세 벤치마크 모두에서 결과가 악화됐다. 이는 행동 정보 없이 수행한 영상 학습이 단순한 초기화 이상의 기여를 했음을 보여준다.

LIBERO에서는 가장 높은 성능을 낸 파인튜닝 X-VLA보다 불과 0.1%p 낮았다. 이 결과가 중요한 이유는 DyPES-VLA가 벤치마크마다 별도의 전문 정책을 사용하지 않고, 서로 다른 로봇 형태를 아우르는 하나의 체크포인트를 사용하기 때문이다.

DyPES-VLA는 어떻게 작동하나?

DyPES-VLA는 서로 다른 두 학습 문제를 다룬다. 하나는 조작의 동역학을 이해하는 일이고, 다른 하나는 특정 로봇에 유효한 명령을 생성하는 일이다. 공유 부분은 첫 번째 문제에 집중하고, 로봇별 행동 헤드는 두 번째 문제를 담당한다.

1단계에서 모델은 영상 시퀀스를 입력받아 미래 예측 목표를 학습한다. 이 단계에는 행동 라벨이 필요하지 않다. 모델은 현재 프레임을 인식하는 데 그치지 않고, 상호작용 이후 장면이 어떻게 전개될 가능성이 높은지를 표현하도록 학습된다. 조작 작업에서는 물체를 잡고 있는지, 도구가 어떻게 움직이는지, 손과 물체의 관계가 어떻게 바뀌는지 등이 그 정보에 포함될 수 있다.

학습 데이터는 사람의 시점에서 촬영한 영상과 공동 학습에 사용된 로봇 형태에서 얻은 시뮬레이션 영상으로 구성된다. 사람 영상은 조작 행동에 대한 폭넓은 사례를 제공하고, 시뮬레이션은 대상 로봇과 환경에 직접 연결된 데이터를 제공한다. 비전-언어 모델, 쿼리 토큰, SANA 헤드는 함께 사전 학습되며, 그 결과 얻은 표현은 작업과 관련된 시각 정보와 시간적 정보를 포착한다.

2단계에서는 이 표현을 바탕으로 서로 다른 로봇 데이터셋에서 행동을 학습한다. 혼합 전문가(MoE) 행동 헤드는 관련 로봇 형태에 연결된 전문가가 제어 예측을 맡도록 한다. 이를 통해 7자유도 팔의 행동 형식이 29자유도 휴머노이드의 행동 형식과 같은 것으로 취급되는 일을 막는다.

로봇 형태 메타데이터도 추가적인 신호를 제공한다. 메타데이터는 관측값과 연결된 로봇 또는 데이터 출처를 식별해, 시각적으로 비슷한 상황이라도 서로 다른 모터 출력이 필요할 수 있음을 모델이 구분하도록 돕는다. 따라서 공유 표현은 공통된 조작 지식을 담당하고, 선택된 전문가는 그 지식을 해당 로봇의 고유 행동 공간으로 변환한다.

이 연구가 로보틱스에 중요한 이유는 무엇인가?

대부분의 로봇 학습 시스템은 어려운 선택에 직면한다. 특정 로봇의 세부 특성을 활용하는 전문 정책은 한 플랫폼에서는 뛰어난 성능을 낼 수 있지만 다른 플랫폼으로 쉽게 옮겨 가지 못한다. 반면 일반 목적 정책은 여러 로봇에 걸쳐 데이터와 기능을 공유할 수 있지만, 서로 다른 형태와 행동 공간 때문에 간섭이 발생할 수 있다. 같은 시각적 상황에서도 로봇에 따라 전혀 다른 관절 명령이 필요하기 때문이다.

DyPES-VLA는 이러한 균형 문제를 다루는 실용적인 구조를 제시한다. 제조사나 로봇 운영자는 인식과 조작 지식을 담은 공유 모델 하나를 유지하면서 플랫폼별 제어 전문가를 연결할 수 있다. 이렇게 하면 중복 학습을 줄이고 서로 다른 로봇에서 수집한 데이터를 더 유용하게 활용할 수 있다.

이 결과는 팔, 휴머노이드, 이동형 조작 시스템이 함께 운용되는 로봇 플릿과 특히 관련이 깊다. Robot Overflow에서 휴머노이드 로봇 살펴보기를 이용하는 구매자는 휴머노이드를 고립된 플랫폼이 아니라 더 넓은 정책 생태계 안의 하나의 로봇 형태로 바라볼 수 있다. 마찬가지로 판매 중인 중고 협동로봇 비교하기를 검토하는 운영자는 서로 다른 관절 구성과 제어기 인터페이스에 맞추면서도 공통 기술을 유지하는 정책의 이점을 얻을 수 있다.

이 연구는 영상 데이터의 가치도 강조한다. 행동 라벨이 없는 사람 영상은 로봇 시연과 행동을 정밀하게 동기화한 데이터보다 대규모로 수집하기 쉽다. 따라서 미래 예측은 더 폭넓은 조작 지식을 효율적으로 학습하는 방법이 될 수 있다.

한계와 남은 질문은 무엇인가?

보고된 결과는 시뮬레이션 벤치마크에서 얻은 것이므로, 실제 센서, 접촉 불확실성, 캘리브레이션 오차, 하드웨어 마모, 예상하지 못한 물체를 DyPES-VLA가 얼마나 잘 다루는지는 보여주지 않는다. 또한 시뮬레이션은 실제 운영 환경보다 로봇 형태 메타데이터가 더 명확하고 행동 인터페이스도 더 일관적이다.

제공된 결과에는 추론 지연 시간, 메모리 요구량, 학습 비용, 로봇 형태별 필요 데이터 규모가 보고되어 있지 않다. 공유 체크포인트가 제한된 연산 자원을 가진 로봇 컴퓨터에서 실용적인지는 이러한 요소에 달려 있다.

앞으로는 공동 학습에 포함된 로봇 형태만 지원하는 것이 아니라, 적은 데이터로 새로운 로봇에 같은 구조를 전이할 수 있는지도 검증해야 한다. 로봇별 전문가를 몇 개까지 추가할 수 있는지, 그 이상에서 모델 관리와 간섭 문제가 얼마나 심각해지는지도 해결해야 할 질문이다.