로봇공학에서 테스트타임 연산 확장은 공짜가 아니다: 계층적 스택에서 계획기는 반복적으로 호출되므로, 사고 사슬 추론, 대형 모델, 또는 더 조밀한 메모리 이력으로 인한 호출당 비용이 누적되어 기본 모델 지연 시간을 배가시킬 수 있다. 연산을 균일하게 줄이면 지연 시간은 완화되지만 어려운 작업에서 실패 위험이 커진다. 따라서 우리는 추론 깊이, 모델 크기, 메모리 이력이라는 세 가지 축을 따라 어디에서 연산이 실제로 이득을 얻는지 연구하며, 이것이 우리 프레임워크의 동기가 된다.
연산 배분 문제 이해하기
실체화된 계획에서 로봇은 배포 중에 추가 연산을 언제 어디에 할당할지 결정해야 한다. 언어 모델링이나 게임 플레이와 같은 정적 도메인과 달리, 로봇공학은 실시간 제약 조건을 부과한다: 각 계획 호출은 시간과 에너지를 소비하며, 계획기는 작업 내내 여러 번 호출된다. 연산을 균일하게 증가시키면 어려운 시나리오에서 성능이 향상되지만 쉬운 시나리오에서는 자원을 낭비하고, 균일하게 감소시키면 자원을 절약하지만 까다로운 예외 사례에서 실패를 초래할 수 있다. 핵심 질문은 선택적 배분—측정 가능한 이점이 있는 곳에만 더 많은 연산을 적용하는 것—이 전반적인 효율성과 신뢰성을 향상시킬 수 있는지 여부이다.
테스트타임 연산의 세 가지 축
이 논문은 실체화된 계획기에서 테스트타임 연산이 확장될 수 있는 세 가지 별개의 차원을 조사한다. 첫째, 추론 깊이는 모델이 행동을 수행하기 전에 생성하는 단계 또는 토큰 수를 나타낸다—더 긴 사고 사슬 추론은 더 나은 계획을 생성할 수 있지만 지연 시간을 추가한다. 둘째, 모델 크기는 기본 신경망의 용량을 포착하며, 일반적으로 더 큰 모델이 더 잘 수행되지만 더 느리고 비용이 많이 든다. 셋째, 메모리 이력은 에이전트의 과거 경험 중 얼마나 많이 보유되고 의사 결정에 사용되는지에 관한 것으로, 더 조밀한 이력은 더 많은 맥락을 제공하지만 처리 시간이 증가한다. 이 축들 간의 상호 작용을 이해하는 것은 효율적인 실체화된 계획 시스템을 설계하는 데 중요하다.
DIRECT 프레임워크
테스트타임 연산이 가장 큰 수익을 제공하는 위치를 체계적으로 연구하기 위해 저자들은 DIRECT를 도입한다. 이 프레임워크는 개별 계획 쿼리에 대해 각 축을 따라 연산을 증가시킬 때의 한계 이득을 평가한다. 이 접근 방식은 계획기에 더 많은 연산이 주어졌을 때 성능이 얼마나 향상되는지 측정한 다음, 언제 더 높은 비용의 변형을 호출할지 학습함으로써 작동한다. 핵심 통찰은 모든 쿼리가 추가 연산으로부터 동등하게 이점을 얻지는 않는다는 것이다: 일부는 최소 자원으로 이미 해결 가능한 반면, 다른 쿼리는 더 큰 모델이나 더 깊은 추론의 전체 용량을 필요로 한다. 각 쿼리를 가장 적절한 연산 수준으로 라우팅함으로써, 프레임워크는 자원 할당을 작업 난이도에 맞추는 것을 목표로 한다.
축별 실증적 발견
실험 결과는 몇 가지 패턴을 드러낸다. 추론 깊이의 경우, 더 긴 사고 사슬 추론은 단순한 탐색 및 조작 작업에서 수확 체감을 보이지만 복잡한 다단계 작업에서는 여전히 가치가 있다. 더 큰 모델은 일관되게 더 작은 모델을 능가하지만, 성능 차이는 공간 추론이나 정밀한 기하학적 이해가 필요한 작업에 집중된다. 메모리 이력은 혼합된 프로필을 보인다: 더 조밀한 이력은 부분적으로 관찰 가능한 환경에서 도움이 되지만 완전히 관찰 가능한 환경에서는 이점 없이 오버헤드만 추가된다. 결정적으로, 다른 축을 따라 확장하는 이점은 독립적이지 않다—더 깊은 추론과 더 큰 모델을 결합하면 가장 어려운 작업에서 초선형 이득을 얻을 수 있다.
로봇공학에 대한 실용적 시사점
이 발견은 로봇 시스템 설계에 직접적인 시사점을 제공한다. 단일 고정 크기 계획기를 배포하는 대신, 엔지니어는 작업 난이도에 따라 연산을 동적으로 할당하는 적응형 시스템을 구축할 수 있다. 예를 들어, 쉬운 픽 앤 플레이스 작업은 얕은 추론의 작은 모델을 사용할 수 있는 반면, 복잡한 조립 작업은 더 깊은 사고 사슬 처리를 가진 더 큰 모델을 트리거할 것이다. DIRECT 프레임워크는 이러한 임계값을 식별하고 라우팅 로직을 구축하는 원칙적인 방법을 제공한다. 물리적 로봇 하드웨어에서 이 적응형 접근 방식은 균일하게 높은 연산 기준선과 비교하여 허용 가능한 지연 시간을 유지하면서 작업 완료율을 향상시켰다.
자주 묻는 질문
로봇공학에서 테스트타임 연산은 훈련 타임 연산과 어떻게 다른가요? 테스트타임 연산은 로봇이 실시간으로 결정을 내려야 하는 배포 중에 사용되는 자원을 말하는 반면, 훈련 타임 연산은 모델 개발 및 최적화 중에 사용됩니다. 로봇공학에서 테스트타임 연산은 지연 시간과 에너지 예산에 의해 더 제약받습니다.
작업 전반에 걸쳐 가장 일관된 이득을 제공하는 연산 확장 축은 무엇인가요? 모델 크기는 다양한 작업에서 가장 일관된 성능 향상을 보여주지만, 수확 체감이 있습니다. 더 깊은 추론과 더 조밀한 메모리의 이점은 작업에 더 의존적입니다.
DIRECT 프레임워크는 모든 실체화된 계획기에 적용될 수 있나요? 이 프레임워크는 계획기 독립적으로 설계되었으며 계획기가 반복적으로 호출되는 모든 계층적 실체화 시스템에 적용될 수 있지만, 구체적인 연산 임계값은 도메인별로 조정되어야 할 수 있습니다.
적응형 연산 배분은 시스템 복잡성을 크게 증가시키나요? 라우팅 구성 요소를 추가하지만, 쉬운 작업에서 불필요한 연산을 피하고 어려운 작업에서 실패를 방지함으로써 얻을 수 있는 잠재적 절감에 비해 오버헤드는 미미합니다.