로봇의 근육 기억이 비전-언어-행동 모델 추론을 가속한다 (2026)

산업 조작을 위한 체화 로봇

작업 목표는 서로 다르지만, 이러한 응용 분야에는 공통된 실행 패턴이 있다. 로봇이 고정된 작업 공간에서 비슷한 작업을 반복 수행하며, 주된 차이는 대상 물체와 그 위치에 있다. 이러한 환경에서는 정책의 반응성과 신뢰성에도 매우 높은 기준이 요구된다.

VLA의 2단계 추론

최근 VLA 모델 대다수가 채택한 구조인, 비전-언어 모델(VLM)과 확산 행동 전문가를 결합한 VLA 모델에 초점을 맞춘다.

비전 트랜스포머(ViT) 임베딩 단계에서는 관측 정보와 언어 지시를 입력 임베딩으로 변환한다. 시각 관측은 일반적으로 로봇 카메라가 촬영한 이미지로 구성된다. 이후 추론은 대부분의 지연 시간을 차지하는 두 가지 핵심 단계로 진행된다.

첫째, VLM은 ViT 임베딩을 프리필(prefill)하여 행동 생성을 위한 시각 특징을 계산한다. 둘째, 행동 전문가는 잡음이 섞인 행동 샘플에서 시작해 여러 디노이징 단계를 거치며 이를 반복적으로 정제하고, 그 결과 행동 청크를 생성한다.

VLA에서 디노이징 단계 건너뛰기의 한계

그러나 이러한 방법은 체화 모델 추론에는 잘 적용되지 않는다. 두 가지 재사용 방식 모두 디노이징 단계 단위로 작동하기 때문이다. 전체 단계 재사용은 연속된 단계가 거의 동일한 출력을 낸다는 전제에 의존한다. 이는 보통 20~50단계를 실행하는 텍스트-이미지 및 텍스트-비디오 모델에서는 흔히 성립한다.

반면 VLA 모델은 훨씬 적은 단계만 사용한다. 예를 들어 GR00T는 네 단계만 사용한다. 따라서 각 단계가 행동 청크를 크게 변화시키며, 어느 한 단계라도 건너뛰면 이후 단계가 복구하지 못하는 정제 과정이 사라진다.

체화 작업 부하의 특성 분석

체화 추론을 가속할 기회를 찾기 위해, 실행 관점과 모델 관점에서 VLA 작업 부하를 분석한다. 먼저 VLM 프리필과 행동 디노이징에서 성능 병목을 파악한 다음, 실행 간 관측 정보와 궤적의 유사성을 살펴본다. 이어 이러한 유사성이 내부 모델 상태, 구체적으로는 VLM 상태와 디노이징 과정의 뉴런 기여도에도 나타나는지 조사한다.

반복 작업 간 궤적 유사성

산업 조립 라인 환경에서 로봇은 비교적 안정적인 작업 공간에서 제한된 종류의 물체를 사용해 동일한 작업을 반복한다. 하지만 조명, 작업대 표면 질감, 물체의 자세가 달라지면 관측 정보와 필요한 움직임이 모두 변할 수 있다. 이에 따라 이러한 변화에도 실행 간 행동 궤적이 유사하게 유지되는지 살펴본다.

행동 궤적은 VLA가 외부로 출력하는 결과로, 3D 공간에서 연속적인 경로를 그리는 시간 순서상의 로봇 행동 시퀀스다. 환경 변화 속에서도 유용한 반복성이 유지되는지 확인하기 위해 이러한 요인을 시뮬레이션으로 모델링했다. 대표 작업에서는 양팔 로봇이 음료수 병 두 개를 들어 작업대 위 지정된 위치로 옮긴다. 실행마다 병의 초기 위치와 조명 조건을 바꾸고, 현재 실행을 동일 작업의 기준 실행과 비교했다.

현재 실행과 기준 실행 모두 네 번의 추론 단계로 작업을 완료했으며, 목표 위치에 안정적으로 도달했다. 병의 초기 위치와 조명은 달랐지만 양팔의 엔드 이펙터 궤적과 카메라 시점은 매우 유사하게 유지됐다. 경로 코사인 유사도는 왼팔 0.995, 오른팔 0.994였다.

VLM 상태 유사성과 시각 토큰 범위

각 VLM 계층에서 현재 실행과 기준 실행의 MLP 입력 및 출력을 비교한 결과, 입력의 코사인 유사도는 최대 98.5%, 출력은 최대 81.0%에 달했다. 이러한 유사성은 남은 출력 변화가 시각 토큰에 어떻게 분포하는지 살펴보게 한다. 또한 MLP 입력의 차이가 이러한 변화 대부분을 설명하는 토큰을 식별할 수 있는지도 조사했다.

병 옮기기 작업에서 선택된 영역을 보면 중요한 패치가 병, 그리퍼, 로봇 팔 주변에 집중되어 있었고, 장면의 맥락을 담은 배경 영역에도 소수의 패치가 나타났다. 조작이 진행됨에 따라 이 영역의 위치가 행동 청크마다 달라지므로, 고정된 공간 마스크가 아니라 각 정책 호출마다 토큰을 선택해야 한다.

디노이징 뉴런 기여도와 중첩

현재 실행과 기준 실행의 궤적이 유사하다는 점에서, 두 실행의 행동 디노이징 과정에도 유사한 내부 활성화가 나타나는지 조사했다. VLM 상태 분석과 마찬가지로 먼저 행동 디노이징의 입력과 출력을 비교했다. 동일한 난수 시드를 사용하면 초기 잡음은 같지만, 생성된 행동 청크의 유사도는 69%에 불과했다.

이에 따라 기준 행동을 그대로 재사용하는 대신 디노이징 내부에서 더 세밀한 재사용을 모색했다. 각 디노이징 FFN에서 뉴런 기여도가 어떻게 분포하는지, 그리고 현재 실행과 기준 실행의 기여 패턴이 얼마나 유사한지 조사했다.

각 디노이징 단계 t와 계층 l에 대해, 기여도 점수를 사용해 각 뉴런이 FFN 출력에 기여하는 정도를 정량화했다.

기여도 점수는 특정 디노이닝 단계와 계층에서 각 뉴런이 FFN 출력에 얼마나 큰 영향을 미치는지 나타낸다.

선택된 뉴런 비율만 유지해도 전체 기여도 점수의 84.4%를 포착할 수 있다.

설계

rMuscle은 선택적 재계산을 위한 2단계 캐싱과 낮은 오버헤드의 접근·저장을 위한 캐시 관리라는 두 가지 상호 보완적 메커니즘을 결합한다.

2단계 캐시는 연산 집약적인 VLM 프리필을 가속하는 Context Cache와 메모리 대역폭에 묶인 행동 디노이징을 위한 Action Cache로 구성된다. Context Cache는 유사한 시각 토큰의 FFN 출력을 재사용하고, 입력이 크게 달라진 토큰만 다시 계산한다. 행동 디노이징에서는 유사한 실행이 중요한 뉴런 집합을 겹치게 활성화하는 경향이 있다. Action Cache는 이러한 기준 활성화 패턴을 사용해 계산할 뉴런과 불러올 가중치를 선택한다.

캐시 관리는 공유 라이브러리에서 기준 FFN 입력·출력과 뉴런 마스크를 2단계 캐시에 제공한다. 메모리 오버헤드를 줄이기 위해 라이브러리는 압축된 기준 입력과 뉴런 마스크만 보관하고, 기준을 실제로 가져올 가능성이 있을 때만 확장된 FFN 상태를 복원한다. 기준은 시각적 맥락과 로봇 상태 이력을 이용해 선택한다. 또한 슬라이딩 GPU 작업 집합으로 메모리 상주량을 제한하고, 복원 작업량을 제한하는 복원 예산을 함께 사용한다.

캐시 관리

캐시 관리는 관련 기준 데이터를 2단계 캐시에 제공하는 동시에 GPU 상주량과 복원 작업량을 제한한다. 이를 위해 비동기 온라인 복원, 맥락 인식 검색, 시간적 지역성에 기반한 슬라이딩 윈도 프리페치를 결합한다.

모든 작업의 모든 기준에 대해 확장된 VLM 상태를 저장하기에는 그 크기가 너무 크다. 3개 시점의 입력을 사용할 경우, 17개 FFN 계층 각각에 BF16 입력·출력 텐서 한 쌍을 저장하며 정책 호출당 약 107MB가 필요하다. 40회의 정책 호출로 구성된 에피소드 하나에는 중간 상태 약 4.28GB가 필요하다. 압축된 입력만 저장하면 이러한 확장을 피할 수 있지만, 상태를 동기식으로 복원하면 VLM의 밀집 연산이 다시 추론의 임계 경로에 들어오게 된다.

rMuscle은 대신 물리적 행동이 실행되는 동안 기준을 복원한다. 저장소에는 기준 모델 입력과 오프라인에서 계산한 뉴런 마스크가 보관된다. 실행 구간 동안 GPU는 곧 평가할 후보 위치의 입력을 가져오고 VLM 프리필을 밀집 방식으로 실행해 FFN 상태를 준비한다. 뉴런 마스크는 오프라인에서 계산되므로 복원 과정에서 행동 디노이닝을 다시 실행할 필요가 없다.

확장된 FFN 상태는 현재 작업 집합에 포함된 항목만 GPU에 보관된다. 이 구성은 호스트와 디스크의 영구 저장 공간을 줄이지만, 복원된 개별 항목이 GPU에서 차지하는 공간 자체를 줄이지는 않는다. 후보 위치는 아래에서 설명하는 프리페치 정책으로 결정된다.

구현

이 절에서는 rMuscle이 오프라인에서 캐시를 구축하고, 온라인 추론을 가속하기 위해 캐시된 기준을 준비하고 검색하는 방식을 설명한다.

평가

rMuscle을 평가하며 다음 세 가지 주요 질문에 답한다.

얼마나 속도가 향상되며, 각 최적화가 얼마나 기여하는가?
다양한 작업에서 작업 성공률을 유지하는가? 캐시 설정은 이에 어떤 영향을 미치는가?
추가로 필요한 메모리 오버헤드는 어느 정도인가?

추론 성능

디노이닝 단계 건너뛰기 방식과 비교하면, rMuscle은 VLM 프리필과 행동 디노이닝을 모두 가속해 추론 속도를 높인다. 단계 건너뛰기 방식은 디노이닝 단계를 공격적으로 생략해 디노이닝 구간에서 더 큰 속도 향상을 얻을 수 있지만, 그 대가로 작업 성공률이 낮아진다.

메모리 오버헤드

rMuscle의 CPU 캐시 사용량을 정량화하고, GPU 메모리 사용량을 기본 실행과 비교한다. 더 어려운 작업에서 기준 데이터 요구량이 증가하는 상황을 반영하기 위해 작업별 캐시 용량을 8개 기준 에피소드의 200개 항목에서 32개 기준 에피소드의 800개 항목으로 늘렸다. 이와 함께 후보 윈도도 더 작은 초기 윈도에서 더 큰 최종 윈도로 확장했다.

RTX 4090에서 CPU 캐시는 32GB 호스트 메모리의 3.7~14.9%를 차지한다. GPU 메모리 사용량은 기본 실행의 8.4GB에서 9.4~11.4GB로 증가하며, 점유율 상승폭은 13% 미만이다.

CPU와 GPU가 128GB 통합 메모리를 공유하는 Jetson Thor에서는 점유율이 6.6%에서 8.3~12.6%로 증가한다. 전체적으로 rMuscle은 RTX 4090에서 GPU 메모리를 3GB 미만만 추가해 최대 800개의 추론 항목을 캐시하며, Jetson Thor에서는 통합 메모리 점유율을 최대 6.0%포인트만 추가로 사용한다.

절제 연구

RoboTwin에서 평가에 사용한 VLA 모델 구성을 기준으로 캐시의 기여도와 품질-지연 시간 절충을 평가한다.

캐시 기여도

RTX 4090과 Jetson Thor에서 FlashRT, Context Cache 단독, Action Cache 단독, 전체 시스템을 비교해 각 캐시가 지연 시간에 기여하는 정도를 분리했다.

기준 저장소

Cache Repository가 없는 rMuscle 변형은 저장소에서 기준을 검색하는 대신 동일 에피소드의 직전 정책 호출을 기준으로 사용한다. 기본 구성의 성공률은 35.2%로, 기준 저장소가 없을 때의 25.9%보다 높았으며 지연 시간은 비슷했다.

이 결과는 이전 실행에서 얻은 기준 데이터가 정책 품질 유지에 중요하다는 점을 보여준다. 동시에 지연 시간이 비슷하다는 사실은 캐시 관리가 임계 경로에 거의 오버헤드를 추가하지 않음을 시사한다.

품질-성능 절충

rMuscle의 시각 토큰 재계산 비율과 뉴런 비율을 변화시켰다. RTX 4090에서 Fast, Default, Slow 구성을 Vanilla, DP-Cache, NIRVANA 및 앞서 설명한 저장소 제거 실험과 비교했다.

Default는 Fast와 비교해 성공률을 23.0%에서 35.2%로 높였으며, 추가 지연 시간은 4.9ms였다. Default는 Vanilla와 동일한 성공률을 보였고, Slow는 성공률이 약간 더 높았다. 두 구성은 각각 Vanilla보다 지연 시간을 10.5ms와 4.5ms 줄였다.

이 결과는 정책 품질을 유지하면서 추론 지연 시간을 줄인다는 설계 목표를 충족한다. 프로파일링 결과와 마찬가지로 Default는 성공률을 희생하지 않으면서 가장 낮은 지연 시간을 제공한다.

논의

정책 지연 시간은 한 행동 청크의 마지막 행동과 다음 청크의 첫 행동 사이의 간격이다. 청크 내부의 행동은 20~30Hz로 실행된다. 정책 호출 빈도가 실행 속도에 가까워질수록 청크 경계가 더 매끄러워지고, 로봇은 환경 변화를 더 자주 다시 관측하고 대응할 수 있다.

따라서 추론 지연 시간이 짧아지면 반응성, 동작의 부드러움, 작업 처리량이 향상된다. 각 에피소드에는 4~40회의 정책 호출이 필요하므로 호출당 지연 시간을 줄이면 전체 작업 주기가 짧아지고, 같은 하드웨어를 사용하는 고정 작업 공간의 로봇이 시간당 더 많은 작업을 완료할 수 있다.