TEMPO: 비전-언어-행동 로봇 제어를 위한 분리형 강화학습 (2026)

비전-언어-행동 모델

최근에는 일반적인 지도 미세 조정 전략을 넘어, 적응 과정에서 기능적으로 구분된 VLA 모듈들이 서로 어떻게 상호작용하는지도 연구되기 시작했다. 지식 절연(knowledge insulation)은 비전-언어 백본과 행동 전문가 사이에서 발생하는 그래디언트 간섭을 분석하고, 사전 학습된 비전-언어 지식에 대한 간섭을 줄이기 위해 행동 측 그래디언트만 분리한다. 그러나 이 방법은 주로 지도 학습 중 그래디언트 격리에 초점을 맞추며, 온라인 후학습 과정에서 모듈별로 강화학습을 পৃথ어 최적화하거나 의미 측 모듈과 행동 측 모듈의 상대적 업데이트 빈도가 미치는 영향을 다루지는 않는다.

비동기식 VLA 실행 및 최적화

종합하면, 기존 연구는 VLA 모델 설계, 강화학습 후학습, 비동기 추론 및 시스템 최적화 등을 폭넓게 다뤄 왔다. 그러나 강화학습 후학습 중 기능적으로 구분된 모듈의 파라미터 업데이트 빈도, 특히 의미 측 모듈과 행동 측 모듈에 서로 다른 업데이트 빈도를 부여하는 메커니즘은 아직 충분히 연구되지 않았다.

TEMPO semantic-action optimization framework

의미-행동 업데이트 빈도 분리 최적화

생략된 수식은 각각 행동 전문가와 의미 투영 계층의 유효 업데이트 빈도를 나타낸다.

이후 행동-의미 업데이트 빈도 비율을 행동 전문가의 유효 업데이트 빈도를 의미 투영 계층의 유효 업데이트 빈도로 나눈 값으로 정의한다.

실험

다음 질문에 답하기 위해 실험을 진행했다.

TEMPO는 사전 학습된 최신 VLA 정책 및 강화학습 후학습 기준선보다 장기 시계열 VLA 성능을 향상시키는가?
의미 투영 계층과 행동 전문가는 강화학습 후학습에서 상호보완적인 이점을 제공하는가?
의미 투영 계층과 행동 전문가 사이의 업데이트 빈도 비율은 성능에 어떤 영향을 미치는가?
후학습에 사용하는 작업 집합의 크기는 성능에 어떤 영향을 미치는가?

실제 환경 실험

실험 설정

6자유도 Synria Alicia-D 로봇 팔과 1자유도 그리퍼로 구성된 실제 플랫폼에서 다단계 언어 조건부 조작 실험을 수행했다. 시각 관측에는 Intel RealSense 카메라 두 대를 사용했다. D435i는 작업 공간을 촬영하는 3인칭 RGB 영상을 제공하고, 손목에 장착된 D405는 그리퍼 주변의 근거리 영상을 기록한다.

두 가지 다단계 조작 작업을 평가했으며, 두 작업 모두 로봇이 대상 물체와 상호작용하기 전에 특정 선행 조건을 충족해야 한다. 각 작업마다 사람의 시연 에피소드 60개를 수집해 총 120개 에피소드를 구성했다. 각 에피소드에는 동기화된 이미지, 로봇 상태, 실행된 행동 명령, 언어 지시가 포함된다. 이 시연 데이터는 온라인 강화학습 후학습에 앞서 작업별 지도 학습 데이터를 제공한다.

Online reinforcement learning post-training process

온라인 강화학습 후학습

온라인 강화학습 후학습 중 평가 보상은 작업별로 보고한다. 각 랜덤 시드마다 모든 체크포인트에서 20회의 시도를 평가하고, 성공에는 1, 실패에는 0을 부여해 이진 작업 보상을 합산했다.

두 작업 모두 초기에는 평가 보상이 변동하지만, 후학습이 진행되면서 점차 향상되고 안정화된다. FLOWER-RL과 비교하면 TEMPO는 후학습 후반부에 더 높은 보상 수준에 도달하며 이를 지속적으로 유지한다.

Real-world comparison of TEMPO and FLOWER-RL

결론

본 논문에서는 의미-행동 분리형 강화학습 후학습 프레임워크 TEMPO를 제시했다. TEMPO는 전용 강화학습 루프를 통해 서로 다른 VLA 구성 요소를 각각 최적화한다. 사전 학습된 비전-언어 백본은 고정한 채 의미 투영 계층을 적응시키고, 온라인 피드백을 바탕으로 행동 및 실행 관련 동작을 학습하도록 행동 전문가를 최적화한다.

모듈별 업데이트 빈도 전략은 두 모듈의 적응을 조율한다. 잠재 행동 공간의 변화를 완화하기 위해 의미 투영 계층은 낮은 빈도로 업데이트하고, 제어 피드백을 효율적으로 반영하기 위해 행동 전문가는 높은 빈도로 업데이트한다.

CALVIN과 실제 환경의 두 조작 작업에서 평가한 결과, TEMPO는 시뮬레이션에서 최신 VLA 모델과 강화학습 후학습 기준선 모두보다 향상된 장기 시계열 성능을 보였으며, 실제 환경 실험에서도 더 높은 보상을 달성했다.

향후에는 희소한 지시 완료 보상보다 풍부한 중간 피드백을 제공할 수 있도록 언어 조건부 밀집 보상 함수를 학습하는 방향을 연구할 예정이다. 이러한 진행도 인식 신호는 특히 장기 시계열 작업에서 강화학습 후학습의 공로 할당과 샘플 효율을 개선할 수 있다.

자주 묻는 질문

TEMPO란 무엇인가? TEMPO는 비전-언어-행동 모델을 위한 의미-행동 분리형 강화학습 후학습 프레임워크다.

TEMPO는 어떤 VLA 구성 요소를 최적화하는가? TEMPO는 사전 학습된 비전-언어 백본을 고정한 채 의미 투영 계층을 적응시키고 행동 전문가를 최적화한다.

TEMPO는 모듈 적응을 어떻게 조율하는가? 의미 투영 계층은 낮은 빈도로, 행동 전문가는 높은 빈도로 업데이트한다.

TEMPO는 어디에서 평가되었는가? TEMPO는 Synria Alicia-D 로봇 팔을 사용해 CALVIN과 실제 환경의 두 조작 작업에서 평가되었다.