변동 자동화(Variational Automation, VA) 태스크는 장기간 반복되는 작업을 전제로, 작업 셀 환경, 로봇, 센서가 알려져 있고 고정되어 있다고 가정한다. 또한 다룰 수 있는 객체의 범위와 초기 객체 자세의 범위도 알려져 있다고 가정한다. 이러한 가정은 VA 설정의 일부일 뿐, 오라클 정보가 아니다. 일반 로보틱스와 달리 VA 태스크는 알려진 작업 셀과 제한된 작동 범위로 정의되므로, 객체 모델, 보정된 센서, 재사용 가능한 자동화 스킬을 사용할 수 있다.
문제 정의
장기간 반복될 변동 자동화 태스크의 경우, 작업 셀 환경, 로봇, 센서는 알려져 있고 고정되어 있다. 다룰 수 있는 객체의 범위와 초기 객체 자세의 범위도 알려져 있다. 이러한 가정은 VA 설정의 일부일 뿐, 오라클 정보가 아니다. 일반 로보틱스와 달리 VA 태스크는 알려진 작업 셀과 제한된 작동 범위로 정의되므로, 객체 모델, 보정된 센서, 재사용 가능한 자동화 스킬을 사용할 수 있다.
시뮬레이션 및 실제 변동 자동화 벤치마크
우리는 8개의 VA 벤치마크 태스크를 제시한다. 이 중 4개는 시뮬레이션, 4개는 실제 환경에서 수행된다. 이 중 6개는 VLA 정책 평가의 사실상 표준인 LIBERO에서 영감을 받았다.
벤치마크 (II-a,b): 식료품 포장 (시뮬레이션 및 실제)
벤치마크 I-a,b를 수정하여 다중 객체 집어넣기(pick-and-place) 태스크를 만든다. 이는 계산대에서 식료품을 포장하는 상황과 유사하며, 로봇은 특정 품목을 식별하거나 선택할 필요 없이 6개의 객체를 용기에 넣어야 한다. 성공률은 6번의 잡기 시도 후 바구니에 들어간 객체 수(최대 6개)로 측정한다.
벤치마크 (III-a,b): 팝콘 만들기 (시뮬레이션 및 실제)
LIBERO의 프라이팬, 스토브, 노브 에셋을 사용하여 로봇이 순차적으로 스토브를 켜고, 팬 손잡이를 집어 스토브 위에 올려놓고, 팬을 제거한 후 스토브를 끄는 조작 태스크를 만든다. 실제 벤치마크에서는 Franka 로봇 팔과 손목 카메라, Amazon에서 구매한 휴대용 스토브, Jiffy-Pop 팝콘을 사용한다.
벤치마크 (IV): 케이블 삽입 (실제)
이 벤치마크 태스크는 UR5 로봇 팔과 ZED Mini 손목 카메라를 사용하여 6개의 소켓 뱅크에 USB-C 케이블을 삽입하고 빼는 일련의 동작을 수행해야 한다. 로봇은 내부 힘-토크 피드백을 사용하여 대상 포트가 카메라 시야를 벗어날 때 삽입을 탐색한다. 이 벤치마크는 두 가지 변동 조건을 포함한다. 첫째, 케이블 포트의 자세를 변화시켜 세 가지 거리(5mm 간격)와 세 가지 각도(15° 간격)를 테스트한다. 둘째, 텍스트 프롬프트를 변화시켜 다섯 가지 목표(개별 포트 지정, 오름차순 삽입, 내림차순 삽입, 홀수 포트, 짝수 포트)를 지정한다.
기준 방법
GaP와 CaP-X의 경우, LLM 에이전트와 VLM에 Gemini-3.1-Flash-Lite를 사용하며 온도는 0.1로 설정한다. 벤치마크 I과 II에서는 첫 번째 생성된 그래프가 높은 성능을 달성하므로 GaP는 자기 학습을 수행하지 않는다.
벤치마크 III A, B: 시뮬레이션 및 실제 팝콘 만들기
팝콘 만들기 태스크는 로봇이 스토브 노브를 잡고 돌려 버너를 켠 후, JiffyPop 팝콘 팬의 손잡이를 찾아 집어 스토브 버너 위에 올려놓고, 기다린 후 스토브를 꺼야 한다.
GaP는 GraspGen, 노브 돌리기 스킬, 그리고 벤치마크 1과 2의 객체 위치 파악 및 잡기 스킬을 사용하여 그래프를 생성한다. 초기 그래프는 노브를 켜고 끌 수 있지만 팬을 제대로 집어 올려놓지 못해 33%의 성공률을 보인다.
결과 정책은 시뮬레이션에서 팬 위치와 방향의 변동에 대해 94%의 성공률을 달성하고, 실제 물리 실험에서 90%(18/20)의 성공률을 달성한다. 두 번의 실제 실패는 선형 Cartesian 운동 중 역기구학(IK) 오류와 누적된 운동학적 오류로 인한 잘못된 잡기에서 발생했다.
벤치마크 V: 상자 세척 (시뮬레이션)
GaP를 전문가가 수작업으로 제작한 실행 그래프(기존의 수동 엔지니어링 노력을 대표)와 비교한다. 두 정책을 자세 분포에서 샘플링된 150회의 시행에 대해 실행하고, 추가로 3시간 연속 실행 창에서 지속 처리량을 측정한다.
결론
에이전트 로보틱스는 빠르게 발전하는 LLM 모델을 기반으로 구축되어 GOFE(Good Old Fashioned Engineering)와 모델 프리 VLA 정책 사이의 다리를 제공할 잠재력이 있다. 절제 실험에서 보여지듯, GaP의 그래프 구조 에이전트 로보틱스는 모듈성, 멀티 에이전트 통합, 자기 학습을 용이하게 한다. 로봇 응용이 더 복잡해지고 스킬 라이브러리가 성장함에 따라 더 정교한 에이전트 활용이 필요할 것이다.
한계점. 실험에서 GaP는 기준 방법보다 성공률을 크게 향상시키지만, 실행 신뢰성은 아직 산업 수준에 미치지 못하며 추가적인 자기 학습과 파라미터 튜닝이 필요하다. 마찬가지로 GaP의 실행 시간은 산업 표준인 시간당 500단위(인스턴스당 7초)보다 훨씬 낮으며, 실행 중 VLM 추론 요청과 IK 운동 계획 시간을 줄이기 위한 추가 작업이 필요하다. 또한 8개의 VA 벤치마크는 준정적 집어넣기 작업에 초점을 맞추고 있으며, 케이블 삽입(IV)만 힘 감지를 필요로 한다. 변형 가능한 객체, 동적 힘, 움직이는 대상이 있는 태스크에 GaP를 적용하려면 추가 작업이 필요하다.
자주 묻는 질문
GaP는 초기 정책 그래프가 실패하는 태스크를 어떻게 처리하나요? GaP는 리허설과 재시도를 통해 그래프를 반복적으로 개선하는 자기 학습을 사용하여 초기 정책보다 훨씬 높은 성공률을 달성합니다.
GaP 성능을 평가하는 데 사용된 벤치마크는 무엇인가요? 8개의 VA 벤치마크 태스크가 사용되었으며, 시뮬레이션 4개, 실제 환경 4개로 식료품 포장, 팝콘 만들기, 케이블 삽입, 상자 세척을 포함합니다.
실제 실험에 사용된 하드웨어는 무엇인가요? 실제 실험에서는 팝콘 태스크에 손목 카메라가 장착된 Franka 로봇 팔을, 케이블 삽입 태스크에 ZED Mini 손목 카메라가 장착된 UR5 로봇 팔을 사용했습니다.
현재 형태의 GaP의 주요 한계점은 무엇인가요? 실행 신뢰성이 아직 산업 수준에 미치지 못하고, 실행 시간이 산업 처리량 기준보다 낮으며, 시스템이 주로 준정적 작업에 초점을 맞추고 있어 변형 가능한 객체나 동적 힘을 다루지 못합니다.