로봇 조작을 위한 LLM 에이전트
이러한 시스템이 에피소드 간에 이어서 보유하는 지식은 텍스트 또는 프로그램 형태입니다. RV-ICL은 하네스를 그대로 유지하면서 과제 수행 방식을 시각적으로 기록하고, 그 기록을 참조하는 절차를 추가합니다.
문맥 속 시연을 통한 학습
언어 모델에서는 프롬프트에 시연을 몇 개 제시하는 것만으로도 과제를 명시할 수 있습니다. 다만 모델은 정확한 입력–레이블 대응 관계보다 시연의 형식과 레이블 공간에 주로 의존합니다. Flamingo는 문맥 내 학습을 이미지가 섞인 입력으로 확장합니다.
이 모든 방식은 다음 행동을 위한 접두부로 시연을 한 번 제시합니다. 하지만 에이전트는 에피소드 하나에서 수십에서 수백 번의 결정을 내립니다. 따라서 시연을 보여줄지 여부뿐 아니라 어느 부분을 언제 보여줄지가 중요합니다.
언어 모델 추론 및 검색에서의 재귀
재귀를 이용하면 컨텍스트 길이가 제한된 모델도 그 한계를 넘어서는 입력과 문제를 처리할 수 있습니다. 재귀적 요약은 책을 요약의 트리로 압축하고 위에서 아래로 읽게 하며, RAPTOR는 질문에 필요한 추상화 수준에서 그러한 트리로부터 정보를 검색합니다. 긴 동영상의 경우 VideoAgent와 VideoTree도 질문에 필요한 프레임이나 분기만 살펴봅니다.
재귀적 분해는 필요에 따라 문제를 나눕니다. ADaPT는 실행기가 하위 과제를 수행하지 못할 때만 이를 더 세분화하고, THREAD는 부모 스레드에 필요한 결과만 반환하는 자식 스레드를 생성합니다. Recursive Language Models는 한 번에 읽기에는 너무 긴 컨텍스트를 여러 조각으로 나누어 스스로 호출합니다. Tree of Thoughts는 이처럼 중간 단계로 이루어진 트리를 탐색합니다.
관련된 방식으로, 정보를 언제 가져올지 결정하는 계열도 있습니다. FLARE는 다음에 생성할 토큰이 불확실할 때 정보를 검색하고, Self-RAG는 필요에 따라 검색을 요청하도록 학습합니다. Reflexion과 Self-Refine은 시도 결과를 다음 시도에 반영하며, MemGPT는 제한된 컨텍스트와 외부 저장소 사이에서 정보를 페이지 단위로 이동합니다.
RV-ICL은 재귀를 체화형 에이전트에 적용합니다. 시연은 각 결정에 필요한 수준에서 읽을 수 있는 트리이며, 에이전트는 물리적 과제의 진행 상황에 따라 더 자세한 정보를 확인합니다. 섬세한 접촉을 하기 전이나, 새로운 하위 목표에 도달했을 때, 또는 단계가 잘못되었을 때 트리를 따라 내려갑니다.
시연 계층 구조
정해진 수의 프레임으로 전체 과정을 담습니다. 모든 잡기와 놓기 동작 주변에 프레임을 배치하고, 나머지 구간은 균일한 간격으로 샘플링합니다. 각 키프레임에는 3인칭 시점과 손목 시점의 영상이 담기며, 시간 비율, 그리퍼 상태, 엔드 이펙터 위치, 이벤트 레이블을 설명으로 덧붙입니다.
재귀적 접근
첫 행동에 나서기 전에 에이전트는 이용 가능한 계층 수준을 확인합니다. 단계 맵과 키프레임을 각 단계의 시각적 자료로 삼아 하위 목표를 작성합니다. 아직 동영상을 불러오지는 않습니다. 프롬프트는 처음부터 미리 불러오는 대신 행동이 필요한 시점에 클립을 요청하도록 하기 때문입니다.
주요 결과
나머지 다섯 개 항목의 성능을 최고 수준에 가깝게 유지하면서, RV-ICL은 HarnessVLA가 가장 취약한 세 항목에서 뚜렷한 성능 향상을 보입니다. Goal-T는 88.0에서 100.0으로, L10-T는 85.0에서 90.0으로, L10-S는 72.0에서 84.0으로 상승합니다.
LIBERO-10은 벤치마크의 장기 과제 평가 세트로, 각 과제는 여러 번의 잡기와 놓기 동작을 연결합니다. 이 세트에서의 성능 향상은 재귀적 접근이 이러한 과제에 특히 효과적임을 시사합니다.
Goal-S에서의 소폭 하락(98.0 vs. 99.0)은 에피소드 하나의 실패에서 비롯됩니다. 과제마다 시드가 다섯 개이므로 에피소드 하나로 항목 점수가 2점 변합니다. 따라서 이 하락은 Goal-S에서 RV-ICL의 성능이 HarnessVLA보다 낮다는 뜻이 아닙니다.
에이전트의 재귀적 탐색 방식
잡기에 실패한 뒤 에이전트는 잡기 순간만 요청하고, 시연자가 냄비를 어떻게 잡는지 클립에서 확인합니다. 시연자는 손잡이를 잡고 손가락을 에이전트보다 바깥쪽에 둡니다. 시연은 다른 배치에서 녹화되었으므로, 에이전트는 자신의 장면에서 손잡이가 어디에 있는지 자신의 카메라로 파악합니다. 따라서 클립은 텍스트 메모리로는 기록할 수 없는 정보를 제공하며, 동영상의 다른 내용은 컨텍스트에 들어가지 않습니다.
LIBERO-PRO의 에피소드 400개 전체에서 에이전트는 에피소드당 몇 개의 클립을 열며, 거의 모든 에피소드에서 동영상에 다시 접근합니다.
모든 에피소드에서 에이전트는 첫 로봇 행동 전에 키프레임과 단계 맵을 확인합니다.
한계
RV-ICL은 기본 과제마다 시연이 하나 있다고 가정합니다. 벤치마크에서 과제의 목표를 바꾸면 시연의 일부가 더 이상 유효하지 않게 되므로, 에이전트에 이를 알려야 합니다. LIBERO에서는 그리퍼와 고정 장치의 관절을 이용해 하위 이벤트를 감지합니다. 밀기, 닦기, 붓기처럼 기록된 상태에 하위 과제의 흔적이 남지 않는 과제에는 엔드 이펙터 궤적을 읽거나 시각-언어 모델에 묻는 방식 등 다른 감지기가 필요합니다. 접촉 동작을 학습된 기술로 수행하고 그 동작이 시연자의 움직임과 다르면, 더 세분화된 수준의 정보는 에이전트가 활용하기 어렵습니다.
각 시연 영상은 에피소드가 끝날 때까지 컨텍스트에 남으므로, 다시 접근하는 횟수가 늘어날수록 비용도 증가합니다. 모든 실험은 로봇 하나와 VLA 하나를 사용하는 LIBERO 과제로 진행했으므로, 다른 체화 형태와 시연 데이터 출처는 검증되지 않았습니다. 에이전트는 제3자 엔드포인트를 통해 이용하는 독점 모델이며, 시간이 지남에 따라 동작이 달라질 수 있습니다.
LIBERO-PRO의 각 항목은 에피소드 50개로 구성되고, LIBERO-Plus의 각 차원은 시드 하나에서 변형 과제 17개 또는 18개로 구성됩니다. 따라서 에피소드 하나로 항목 점수가 2~6점 변할 수 있습니다. 결과 표의 기준선은 별도 실행에서 얻은 것이므로, 각 에피소드별로 우리 결과와 직접 비교할 수 없습니다.
윤리 성명
모든 실험은 시뮬레이션에서 수행했습니다. LLM 에이전트는 셸 명령을 실행하며 과제 범위 밖의 파일을 읽을 수도 있습니다. 디렉터리 권한을 제한하고 모든 셸 명령을 사후 감사하여 실행 환경을 격리했습니다. 이러한 에이전트를 실제 로봇에 배포하려면 더 강력한 샌드박싱과 사람의 감독이 필요합니다. 시연은 공개 벤치마크 데이터 세트에서 가져왔습니다.
자주 묻는 질문
RV-ICL은 에이전트에 무엇을 더하나요? 과제 시연을 시각적으로 기록하고, 필요할 때 그 기록의 일부를 참조하는 절차를 더합니다.
에이전트는 언제 비디오 클립을 검색하나요? 행동하기 전에 모든 클립을 불러오는 대신, 행동이 필요한 시점에 클립을 요청합니다.
잡기에 실패한 뒤 검색한 클립은 어떤 정보를 제공하나요? 시연자가 잡기를 어떻게 수행했는지 보여줄 수 있으며, 에이전트는 자신의 카메라로 장면 속 물체의 위치를 파악합니다.
RV-ICL의 주요 한계는 무엇인가요? 기본 과제마다 시연이 하나 있다고 가정하며, 실험은 로봇 하나와 VLA 하나를 사용하는 LIBERO 과제에만 한정됩니다.