마르코프 의사결정 과정과 시뮬레이터 접근
각 환경은 마르코프 의사결정 과정(MDP)과 태스크 설명으로 표현됩니다.
태스크 설명은 로봇이 달성해야 하는 목표를 지정합니다.
초기 상태 분포는 서로 다른 객체 수, 구성, 기하를 가진 문제 인스턴스를 생성합니다. 예를 들어 객체 회수 태스크에서는 목표 객체 주변의 장애물 수와 배치가 인스턴스마다 다를 수 있습니다. 상태 및 행동 공간, 전이 모델, 보상 함수는 공유됩니다.
합성 및 평가
평가 시점에는 프로그램이 고정되며 합성 방법은 더 이상 호출되지 않습니다. 특히 학습 중 사용한 코딩 에이전트나 대규모 언어 모델은 사용할 수 없습니다. 프로그램은 학습 중 의도적으로 숨겨 둔 초기 상태에서 평가됩니다.
숨겨진 초기 상태 분포는 합성 중 사용할 수 없었던 평가 문제를 제공합니다.
주요 지표는 성공률, 즉 프로그램이 지정된 horizon과 벽시계 기준 60 seconds 제한 내에 목표에 도달할 확률입니다.
horizon은 평가 인스턴스가 종료되기 전에 허용되는 최대 스텝 수를 정의합니다.
인스턴스별 계산 시간도 측정합니다. 여기에는 계획 수립과 행동 결정에 소요된 시간이 포함되며, 합성에 걸린 시간과 평가 환경을 진행하는 데 걸린 시간은 제외됩니다.
기준선
AgenticGenPlan은 연속 제약을 충족하기 위해 기호 검색과 샘플링을 결합하는 태스크 및 모션 플래닝(TAMP) 플래너와 비교됩니다. 벤치마크는 28개 환경 중 16개에 대한 플래너를 제공합니다.
실현 가능한 궤적을 생성하는 데 사용되는 손으로 작성한 술어, 연산자, 샘플러 및 모션 플래너 또는 스킬에 대해서는 공식 구현을 따릅니다. 이러한 방법은 각 평가 인스턴스마다 새로운 계획을 계산합니다.
환경 설정
각 방법에 대해 환경마다 독립 실행 5회를 수행합니다. 각 코딩 에이전트 및 LLMGenPlan 합성 실행에는 모델 사용 예산 $20가 할당됩니다.
그 결과 생성된 프로그램과 플래너는 합성에 사용된 동일한 초기 상태 분포에서 샘플링한 환경당 동일한 100개 인스턴스에 대해 평가됩니다. 에이전트가 합성 중 해당 인스턴스를 테스트할 가능성을 낮추기 위해 평가 시드는 무작위로 생성하며, 이후 어떤 시드도 사용되지 않았음을 확인하여 이를 검증합니다.
모든 방법에 대해 평가 인스턴스마다 60 seconds의 시간 제한을 사용하며, 이는 원래 KinDER 프로토콜과 일치합니다.
평가 시간 제한은 각 인스턴스를 해결하는 데 사용할 수 있는 벽시계 시간을 제한합니다.
로봇 프로그램의 에이전트 기반 합성
Code-as-Policies 이후로 대규모 언어 모델은 조작 스킬과 인식 인터페이스를 통합하는 로봇 제어 코드를 생성할 수 있음을 보여주었습니다. GenCHiP 및 InstructFlow와 같은 후속 연구는 코드를 유연한 정책 표현으로 활용하도록 동기를 부여하는 한편, 제공되는 행동 인터페이스와 피드백의 중요성을 강조합니다.
기호 태스크 플래닝에서는 대규모 언어 모델과 실행 피드백을 사용해 추가적인 언어 모델 호출 없이 새로운 PDDL 인스턴스를 해결하는 재사용 가능한 프로그램을 합성해 왔습니다.
논의
한계
이 설정은 완전히 관측된 객체 중심 상태와 합성 중 시뮬레이터에 대한 접근을 가정합니다. 따라서 인식 불확실성 하에서의 성능을 입증하지는 않습니다.
모델의 학습 데이터가 공개되지 않았으므로 벤치마크 코드에 사전에 노출되었을 가능성을 배제할 수 없습니다. 그러나 합성 로그에는 환경 탐색, 테스트, 상당한 수정 과정을 통해 정책이 개발된 것으로 나타납니다. 에이전트가 합성한 예상 밖 전략과 함께 이러한 결과는 에이전트가 사전 학습 중 본 완전한 해답을 단순히 회상했다는 설명에 반하는 증거를 제공합니다.
결론
코딩 에이전트는 강력한 일반화 TAMP 플래너로서, 벤치마크에서 손으로 설계한 플래너와 기존 대규모 언어 모델 기반 합성 방법을 능가하는 재사용 가능한 프로그램을 합성합니다.
이 결과는 기하학적, 운동학적, 동역학적 제약이 있는 환경으로 대규모 언어 모델 기반 일반화 플래닝의 가능성을 확장합니다. 에이전트는 상호작용을 통해 환경의 물리적 거동을 조사하고, 환경의 기호 모델, 스킬 또는 샘플러를 제공받지 않은 채 효과적인 전략을 개발할 수 있습니다.
환경이 작동하는 방식과 태스크를 해결하는 방법을 모두 발견하는 이러한 능력은 코딩 에이전트를 향후 TAMP 연구를 위한 중요한 기준선으로 만듭니다.
감사의 글
저자들은 논문 초안에 의견을 준 Pietro Ferrazzi에게 감사드립니다. 이 연구는 Princeton SEAS Innovation Grant, NVIDIA Academic Grant Program 및 Princeton AI Lab Grant의 일부 지원을 받았습니다.
자주 묻는 질문
AgenticGenPlan이란 무엇인가요? AgenticGenPlan은 일반화된 태스크 및 모션 플래닝을 위한 재사용 가능한 프로그램을 합성하는 코딩 에이전트 접근법입니다.
성능은 어떻게 평가하나요? 성능은 주로 프로그램이 허용된 horizon과 60 seconds의 벽시계 시간 제한 내에 목표에 도달할 확률로 측정합니다.
환경마다 몇 개의 평가 인스턴스를 사용하나요? 각 방법은 환경마다 동일한 100개 인스턴스에 대해 평가됩니다.
이 연구의 주요 한계는 무엇인가요? 이 설정은 완전히 관측된 객체 중심 상태와 합성 중 시뮬레이터에 대한 접근을 가정하므로, 인식 불확실성 하에서의 성능을 입증하지는 않습니다.