안내형 데이터 수집(Guided Data Collection, GDC)을 연구합니다. 데이터를 무차별적으로 수집한 뒤 걸러내는 대신, GDC 방법은 이후 배치 성능을 극대화하기 위해 어떤 데이터를 어디서 수집할지, 어떤 상호작용을 우선할지 능동적으로 추론합니다. 직접 배치 환경에 접근할 수는 없지만 관련 보조 환경에서 데이터 수집이 가능한 실용적인 상황에 초점을 맞춥니다.
상식에 근거한 제안을 통한 과제 매개변수 공간 탐색
대상 도메인의 맥락, 즉 비디오 시연, 언어 설명, 환경과 물체 같은 이용 가능한 학습 자산을 바탕으로 비전-언어 모델(VLM)이 수집 환경, 장면 구성, 조작 과제를 지정하는 실행 가능한 과제 매개변수를 제안합니다. VLM은 각 과제에서 데이터를 얼마나 수집할지 결정하지 않습니다. 대신 개방형 과제 공간에서 유망한 영역을 찾아내며, 이후 기여도 기반 평가를 통해 해당 영역의 효용을 판단합니다.
실험
학습 세부 사항
수집한 데이터셋으로 언어 조건부 Octo 정책을 학습하고, 저자들이 공개한 사전 학습 체크포인트로 초기화합니다. 선행 연구에 따라 대상 과제 시연 데이터와 50/50 샘플링 혼합으로 정책을 공동 학습합니다.
정성적 분석: GUILD는 어떤 데이터를 수집하는가?
오픈 월드 설정에서 GUILD가 각 실제 대상 과제에 대해 수집한 최종 데이터 구성은 대상별 보조 과제가 해당 설정에 고유하며, 수집 데이터가 많은 순서대로 정렬되어 있음을 보여줍니다. 각 막대는 보조 과제에서 수집한 궤적 수를 나타내고, 색상은 해당 과제가 도입된 외부 루프 반복 단계를 나타냅니다. 각 대상별로 데이터 할당량이 많은 대표 보조 과제도 함께 제시합니다.
GUILD는 비슷한 물체, 용기 또는 조작 패턴처럼 대상 과제와 관련된 의미적·행동적 구조를 유지하는 보조 과제를 우선합니다.
결론 및 한계
이 연구는 오스틴 소재 텍사스 대학교 로봇 인터랙티브 인텔리전스(RobIn) 연구실에서 수행되었으며, 미국 국립과학재단(CAREER Award FAIN 2543745), NVIDIA Academic Grant Program과 TACC 자원, Amazon의 지원을 일부 받았습니다. 본 자료에 제시된 의견, 결과, 결론 또는 권고 사항은 저자의 견해이며 미국 국립과학재단이나 기타 후원 기관의 견해를 반드시 반영하는 것은 아닙니다.
사람 실험 세부 사항
사람이 안내하는 데이터 수집을 평가하기 위해 로봇 공학 경험 수준이 서로 다른 참가자를 대상으로 설문을 실시했습니다. 경험이 가장 적은 참가자는 로봇 공학 분야에서 약 1년의 경험이 있었고, 경험이 가장 많은 참가자들은 로봇 학습 및 조작 연구 경력이 5년을 넘었습니다. 사람이 제안한 데이터셋을 구성하기 위해 참가자들에게 자동화 방법이 이용할 수 있는 것과 동일한 정보, 즉 대상 과제의 맥락, 이용 가능한 학습 환경에 대한 설명, 전체 데이터 수집 예산을 제공했습니다. 참가자들은 지정된 예산 제약을 지키면서 대상 과제의 성능을 극대화할 데이터 수집 전략을 설계하도록 안내받았습니다. 중요한 점은 참가자들에게 기여도 점수, 기준선 결과 또는 자동화 방법에 처음 제공된 정보 이외의 추가 피드백이 주어지지 않았다는 것입니다.
각 대상 과제에 대해 참가자들은 GUILD가 사용하는 것과 동일한 매개변수 공간 내에서 과제 집합을 제안했습니다. 예를 들어 실제 오픈 월드 설정에서는 각 제안에 수집 환경, 물체 구성, 과제 설명, 해당 과제에 할당할 수집 예산의 양이 명시되었습니다. 그런 다음 자동화 방법과 동일한 데이터 수집 절차, 즉 시뮬레이션에서는 스크립트 정책을, 실제 환경에서는 사람의 원격 조작을 사용해 제안된 데이터셋을 수집했습니다. 마지막으로 모든 사람 안내 데이터셋을 각 설정에 설명된 것과 동일한 정책 학습 및 평가 절차로 평가했습니다. 이를 통해 성능 차이가 학습이나 평가 절차가 아니라 데이터 수집 전략에서만 비롯되도록 했습니다.
사용한 VLM의 영향
실험 전반에서 과제 제안과 피드백 기반 지원 범위 확장에 GPT-5.2를 사용합니다. 다른 모든 하이퍼파라미터를 고정한 채 LIBERO 실험에서 GPT-5.2를 Gemini-2.5-Flash로 교체해, VLM 선택에 대한 GUILD의 민감도를 살펴봅니다. 결과는 GUILD (Gemini)로 보고합니다.
실제 과제의 단계별 결과
실제 환경 평가에서 단계별 성공률을 측정합니다. 각 과제의 단계는 다음과 같습니다.
- Pink-cup-sink: 분홍색 컵을 집는다 → 싱크대에 놓는다.
- Towel-drawer-close: 수건을 집는다 → 열린 서랍에 놓는다 → 서랍을 닫는다.
- Bowl-pour: 검은색 그릇을 잡는다 → 내용물을 서랍에 붓는다.
- Lemon-drawer-close: 레몬을 집는다 → 열린 서랍에 놓는다 → 서랍을 닫는다.
자주 묻는 질문
GUILD는 어떤 문제를 다루나요? GUILD는 이후 배치 성능을 높이기 위해 어떤 데이터를 어디서 수집할지 추론하는 방법인 안내형 데이터 수집을 연구합니다.
VLM은 과제를 제안할 때 어떤 정보를 사용하나요? 비디오 시연, 언어 설명, 환경과 물체 같은 이용 가능한 학습 자산을 포함한 대상 도메인의 맥락을 사용합니다.
VLM이 각 과제에서 수집할 데이터의 양을 결정하나요? 아니요. 과제 공간에서 유망한 영역을 제안하고, 이후 기여도 기반 평가를 통해 그 효용을 판단합니다.
사람이 안내한 데이터셋은 어떻게 평가했나요? 자동화 방법으로 수집한 데이터셋과 동일한 정책 학습 및 평가 절차를 사용했으므로, 성능 차이는 데이터 수집 전략을 반영합니다.