이 연구의 기여는 크게 세 가지다.
- VLM이 정보 수집 하위 목표를 계획하도록 유도해 가려진 영역을 드러내고 목표와 관련된 물체를 확인하는 사전 계획 단계의 증거 획득 메커니즘을 제안한다.
- 획득한 증거가 실행 가능한 작업 계획을 뒷받침하는지 평가하는 실행 가능성 게이팅 메커니즘을 제안한다. 목표 달성에 필요한 조건이 여전히 뒷받침되지 않으면 추가 관찰을 요청하거나 실행을 중단한다.
- 명시적 목표, 불충분하게 명시된 목표, 물체가 누락된 목표를 아우르는 세 가지 요리 시나리오를 설계하고, EAFG가 근거에 기반한 작업 완료와 실행 불가능성 탐지를 향상한다는 점을 실험적으로 보인다.
관련 연구
작업 및 동작 계획(Task and Motion Planning, TAMP)은 이산적인 기호 추론과 연속적인 동작 계획을 결합해 기하학적·운동학적·충돌·파지·배치 제약이 존재하는 장기 조작 작업을 해결한다. PDDLStream은 역운동학 솔버, 파지 및 배치 샘플러, 충돌 검사기, 동작 계획기와 같은 블랙박스 절차에 연결되는 스트림을 PDDL에 확장해 도입한다. 또한 유한한 PDDL 탐색과 스트림 평가를 조정해 후보 조작 계획에 필요한 연속 매개변수를 생성하고 검증한다.
부분 관측성과 물체 탐색을 다룬 기존 연구는 POMDP, 신념 공간 계획, 정보 수집 행동을 활용해 가려진 물체와 불확실한 상태를 처리한다. 여기에는 조작 과정에서 가림을 해소하거나 용기를 검사하는 행동도 포함된다. LLM 기반 사전 실행 계획 검증은 제안된 로봇 계획의 논리적·절차적 결함을 탐지하지만, 숨겨져 있거나 존재하지 않을 수 있는 물체에 관한 증거를 능동적으로 수집하지는 않는다. 반면 우리의 방법은 로봇이 자율적으로 증거를 수집하고, 그 증거에 따라 계획을 수립할지, 추가 증거를 획득할지, 실행을 중단할지를 결정하도록 한다.
종합하면, 기존 연구는 TAMP를 통해 기하학적 실행 가능성을, 파운데이션 모델을 통해 의미 기반 작업 분해를, 부분 관측성 계획을 통해 정보 수집을 제공한다. 우리의 기여는 작업 계획에 앞서 증거 획득을 배치하고, 획득한 관찰을 근거 기반 계획 수립 또는 실행 중단을 결정하는 명시적 실행 가능성 게이트로 활용하는 데 있다.
증거 획득 및 실행 가능성 게이팅
우리는 Evidence Acquisition and Feasibility Gating(EAFG)을 제안한다. EAFG는 작업 계획을 세우기 전에 VLM을 사용해 목표와 관련된 물체와 환경 조건을 확인하기 위한 관찰 증거를 능동적으로 획득한다. EAFG는 누락되었거나 불확실한 정보를 해소하는 증거 획득 하위 목표를 생성하고, 획득한 증거를 바탕으로 해당 목표에 대한 계획을 진행할지 결정한다. 목표와 관련된 영역을 탐색한 뒤에도 필요한 증거를 얻지 못하면, 뒷받침되지 않는 가정에 기반한 계획이 생성되지 않도록 실행을 중단한다.
개요
EAFG는 자연어 목표를 입력으로 받아 목표 달성 가능 여부를 판단하는 데 필요한 환경 정보를 수집하는 계획을 생성한다. 입력은 자연어로 표현된 작업 목표다.
먼저 VLM은 일련의 증거 획득 하위 목표를 제안한다. 각 하위 목표는 문이나 수납장을 열고, 시야를 가리는 물체를 잠시 들어 올리는 등의 탐색 행동이다. 이러한 하위 목표는 목표와 관련된 물체가 있을 수 있는 환경의 일부를 살펴보기 위한 것이며, 대상 작업을 직접 수행하기 위한 것은 아니다.
생성된 각 증거 획득 하위 목표는 TAMP에 전달되고, TAMP는 이를 기하학적·운동학적으로 실행 가능한 행동 시퀀스로 구체화하려 한다. 이후 로봇은 완성된 행동 시퀀스를 실행한다. 각 하위 목표를 실행한 뒤 얻은 관찰 이미지는 이후 VLM 추론에 사용할 시각적 증거로 저장된다.
각 증거 획득 반복이 끝나면 VLM은 실행 이력과 관찰 이미지 콜라주를 입력받아 증거 상태를 갱신하고 게이트 상태를 출력한다. 게이트 상태는 ready_to_plan, need_more_evidence, halt 중 하나다. 첫 번째 상태는 증거에 기반한 작업 계획 수립을 시작하고, 두 번째 상태는 다음 증거 획득 반복을 시작하며, 세 번째 상태는 필요한 증거가 여전히 뒷받침되지 않을 때 실행을 중단한다.
실행 가능성 게이팅
VLM이 획득한 증거만으로 목표 달성 계획을 세우기에 충분하다고 판단하면 ready_to_plan을 출력한다. 목표는 로봇이 달성해야 하는 작업을 의미한다. 이 경우 시스템은 증거 획득 루프를 종료하고 증거에 기반한 계획 수립을 진행한다.
주방 환경과 로봇 구성
우리는 닭고기 수프를 만드는 주방 환경을 사용한다. 이 작업은 처음부터 보이지 않는 영역에서 물체를 탐색하고, 수납공간에 접근하며, 재료와 양념을 배치하고, 물과 가스레인지를 사용하는 장기 계획을 필요로 한다.
환경에는 이동 가능한 물체 5개, 조리대·가스레인지 버너·싱크대·냄비 등을 포함한 지지 표면 8개, 문이나 서랍으로 닫힌 수납공간 2개, 문과 손잡이 같은 관절 물체 6개가 있다. 물체는 로봇의 관찰 이미지에 나타난 뒤에만 PDDL 문제에 추가된다. 이 환경은 장기 작업 계획과 기하학적 실행 가능성을 평가하기 위한 VLM-TAMP의 벤치마크로 사용되었다.
실험에서는 모든 문이 처음에 닫혀 있다. 닭다리는 냉장고 맨 위 선반에 있고, 소금통과 후추통은 로봇의 시점에서 각각 수납장의 왼쪽과 오른쪽에 놓여 있다.
로봇은 왼팔만 사용할 수 있으므로 물체 재배치, 수납공간 접근, 관절 물체 조작은 제한된 도달 가능 작업 공간 안에서 수행해야 한다. 로봇은 집기-놓기 동작으로 이동 가능한 물체를 조작하고, 손목을 당기거나 밀거나 회전해 관절을 움직일 수 있다.
따라서 작업을 성공적으로 수행하려면 요리 관련 조작 과정에서 관찰되지 않은 영역, 닫힌 수납공간, 기하학적 제약을 함께 처리해야 한다.
결과
세 가지 설정에서 EAFG를 적용한 VLM-TAMP와 적용하지 않은 VLM-TAMP를 비교해 EAFG의 효과를 평가했다.
EAFG의 효과는 목표가 불충분하게 명시된 S2에서 가장 크게 나타났다. EAFG가 언급되지는 않았지만 작업에 필요한 소금과 후추를 발견하고 이를 작업 계획에 포함했기 때문에, GPT-5.5의 Recipe CR은 0.05에서 0.40으로, Gemini-3.5-Flash의 Recipe CR은 0.00에서 0.20으로 상승했다.
S3에서는 EAFG가 실행 불가능한 목표를 처리하는 능력을 향상했다. 존재하지 않는 당근을 향한 불필요한 실행 시도를 줄이는 동시에 Halt SR을 높였다.
지시가 명확하고 필요한 모든 물체가 존재하는 S1에서는 EAFG가 기준선과 대등한 성능을 유지했으며, GPT-5.5의 Recipe CR을 향상했다.
한계
EAFG는 각 증거 획득 하위 목표를 기하학적·운동학적으로 실행 가능한 저수준 행동 시퀀스로 구체화하는 TAMP 모듈에 의존한다. 그러나 EAFG는 증거 획득 과정에서 발생하는 조작 실패로부터의 복구를 명시적으로 처리하지 않는다.
따라서 TAMP가 실패하면 시스템이 환경에서 해당 작업 관련 증거를 획득하지 못할 수 있으며, 실행 가능성 게이팅이 불충분한 정보에 기반해 실행 가능성을 판단하게 될 수 있다.
이러한 한계에도 EAFG는 VLM과 구조화된 계획기를 결합하는 다양한 방법과 호환된다. 기반이 되는 계획 및 피드백 메커니즘이 발전함에 따라 견고성도 향상될 것으로 기대된다.
결론
우리는 작업 계획에 앞서 시각적 증거를 능동적으로 획득하고, 계획 수립·추가 탐색·실행 중단 중 무엇을 선택할지 실행 가능성 게이트로 결정하는 프레임워크 EAFG를 제안했다.
실험 결과, EAFG는 계획 수립 전에 작업과 관련된 숨겨진 물체를 발견함으로써 부분 관측 환경에서 근거에 기반한 작업 완료를 향상했다. 또한 필요한 물체를 확인할 수 없을 때 적절히 실행을 중단하도록 해, 존재하지 않는 물체를 향한 불필요한 실행 시도를 줄였다.
자주 묻는 질문
Evidence Acquisition and Feasibility Gating이란 무엇인가? EAFG는 작업 계획에 앞서 시각적 증거를 능동적으로 획득하고, 그 증거를 바탕으로 계획을 진행할지 결정한다.
VLM은 어떤 게이트 상태를 출력할 수 있는가? VLM은 ready_to_plan, need_more_evidence, halt 중 하나를 출력할 수 있다.
평가에는 어떤 요리 환경이 사용되는가? 실험에는 숨겨진 물체, 수납공간, 재료, 물, 가스레인지가 포함된 닭고기 수프 조리용 주방 환경이 사용된다.
EAFG의 한계는 무엇인가? EAFG는 증거 획득 중 발생하는 조작 실패로부터의 복구를 명시적으로 처리하지 않으므로, 불충분한 정보에 기반해 실행 가능성을 판단할 수 있다.