BT-Agent는 언어 모델 기반 플래너와 고정된 행동 트리 스킬을 결합해, 온보드 로봇이 여러 단계로 이루어진 동작을 선택하고 필수 조건이 충족되지 않으면 로컬 점검으로 실행을 중단하도록 합니다. 161개 작업을 대상으로 한 텍스트 평가에서 이 프레임워크는 동시 작업자 8개 환경에서 Habitat보다 평가 처리량이 10.9× 높았습니다. 온보드 시험에서는 9-billion-parameter 모델로 아키텍처를 실행하는 모습을 보였습니다.
목차
연구진은 무엇을 만들었나요?
BT-Agent는 높은 수준의 지시를 로봇 동작의 연속된 단계로 변환하는 시스템으로, 무엇을 할지 결정하는 과정과 동작이 실행되는 방식을 제어하는 과정 사이에 명확한 경계를 둡니다. Actor라고 불리는 언어 모델은 작업과 이전 단계, 저장된 결과를 고려합니다. 로봇 스킬을 선택하고 해당 스킬의 입력값을 제공하거나, 추가 정보를 요청하거나, 작업이 완료됐다고 알릴 수 있습니다.
각 스킬은 사전에 정의된 행동 트리로 구현됩니다. 행동 트리는 점검과 동작을 구조화해 검토할 수 있도록 배열한 것입니다. 실제 스킬을 시작하기 전에 BT-Agent는 입력값이 유효한지, 필요한 정보를 확보했는지 확인할 수 있습니다. 실행 중에는 로봇이 위치를 파악하고 있는지, 동작 시간이 초과됐는지, 누군가 작업을 취소했는지 등을 트리가 반복해서 점검합니다. 점검에 실패하면 스킬 실행을 중단하고 Actor에 진단 정보를 전달할 수 있습니다.
이 시스템은 모델 추론이 로봇의 다른 구성 요소와 한정된 컴퓨팅 자원을 공유하는 온보드 환경을 위해 설계됐습니다. 연구진은 다양한 정밀도의 평가 환경도 구축했습니다. 비용이 낮은 텍스트 환경, 물리 기반 시뮬레이터, 실제 로봇 시험이 동일한 작업 목표와 스킬 인터페이스를 공유합니다. 이를 통해 결정을 저렴하게 시험한 뒤 시뮬레이션과 하드웨어에서 어떻게 작동하는지 확인할 수 있습니다.
주요 결과는 무엇인가요?
평가에는 실내외 환경의 작업 161개가 포함됩니다. 연구진은 동시 작업자 8개 환경에서 텍스트 평가가 Habitat 평가보다 10.9× 빠르게 실행됐다고 보고합니다. 따라서 텍스트 환경은 신속한 반복 평가에 유용하지만, 처리량은 평가가 얼마나 빨리 실행되는지를 나타낼 뿐 로봇이 더 많은 작업을 성공적으로 완료했는지를 의미하지는 않습니다.
온보드 시험에서는 9-billion-parameter 모델을 사용해 BT-Agent를 실행하고, 로컬 행동 트리 점검으로 실행 조건과 중단을 처리하면서 작업을 조율하는 모습을 보였습니다. 연구에서는 각 평가 백엔드에서 공통 스킬 계층과 실행 점검을 사용해 BT-Agent를 Act, ReAct, 그리고 수정된 CaP-X 버전과 비교했습니다. 공개된 결과에는 이 비교가 설명되어 있지만 모델별 성공률이나 기준 방법 대비 승률은 제시되지 않았으므로, 방법 간 수치 순위를 매길 근거는 없습니다.
| 보고된 결과 | 설명 |
|---|---|
| 작업 161개 | 텍스트 벤치마크 전체: 기본 작업 50개와 전이 작업 111개 |
| 기본 작업 50개 | Habitat에서 가져온 작업 39개와 Isaac에서 가져온 작업 11개 |
| 전이 작업 111개 | 모델 가중치를 변경하지 않고 구성을 시험하는 데 사용된 추가 실내 작업 |
| 처리량 10.9× | 동시 작업자 8개 환경에서 텍스트 평가와 Habitat 평가를 비교한 결과 |
| 9-billion-parameter 모델 | 온보드 시험에서 실행을 보인 모델 |
작업 세트에는 물체 탐색, 검사, 상호작용이 포함되며, 모호성, 대상 수, 의존성, 실행 불가능성에 차이를 둔 변형 작업도 있습니다. 따라서 평가는 단순한 내비게이션 이상의 능력을 시험하지만, 공개된 수치만으로는 각 작업 유형의 성공 빈도를 확인할 수 없습니다.
BT-Agent는 어떻게 작동하나요?
BT-Agent는 의사결정과 실행을 반복하는 절차를 사용합니다. 먼저 Actor가 작업, 요약된 이력, 이전 스킬에서 저장한 결과를 받습니다. 이어서 스킬 하나를 선택하고 인수를 제공합니다. 감독 역할을 하는 행동 트리가 해당 스킬을 실행하고 상태와 결과를 반환한 뒤, Actor가 다시 호출됩니다. 한 번에 스킬 하나를 처리하는 이 방식은 작업 수준의 의사결정과 스킬의 고정된 실행 로직을 분리합니다.
스킬마다 역할이 다릅니다. 장면 메모리를 조회하거나 카메라를 살펴보는 등 맥락을 수집하는 스킬도 있고, 내비게이션이나 이미지 촬영처럼 실제 동작을 수행하는 스킬도 있습니다. 실제 동작이 차단된 경우에도 맥락 수집 스킬은 유용할 수 있습니다. 로봇은 실행할 수 없는 동작을 시도하는 대신 근거를 수집하거나 제약 조건을 설명할 수 있습니다. 형식이 지정된 객체 저장소에는 결과를 보관해 나중에 활용하고, 요약된 이력은 모델이 처리해야 하는 맥락의 양을 줄이는 데 도움이 됩니다.
행동 트리는 다른 모델 호출 없이 수행되는 점검을 제공합니다. 실제 동작을 시작하기 전에 시스템은 인수를 검증하고, 객체 참조를 확인하며, 필수 관측 정보가 있는지 확인할 수 있습니다. 실행 중에는 트리가 주기적으로 갱신되거나 “틱”되어 취소 여부, 경과 시간, 스킬별 가드를 점검합니다. 예를 들어 위치 파악에 실패하면 내비게이션 스킬을 중단할 수 있습니다. 가드가 실패하면 트리는 해당 분기를 중단하고 제어기에 정지 요청을 보냅니다. 가능한 경우 그 피드백은 Actor에 전달됩니다.
개발 과정에서는 명시적인 목표 점검을 통해 평가 조건을 맞추면서, 텍스트 및 시뮬레이션 환경에서 동일한 작업 목표와 스킬 인터페이스를 사용합니다. 또한 텍스트 환경에서는 통제된 결함 주입이 가능하므로, 물리 시뮬레이션을 반복하는 데 드는 전체 비용 없이 의사결정이 실패에 어떻게 대응하는지 시험할 수 있습니다.
로보틱스에서 이것이 중요한 이유는 무엇인가요?
언어 모델은 로봇이 해당 동작을 실행해도 되는 상태인지 알지 못한 채 그럴듯한 다음 동작을 선택할 수 있습니다. BT-Agent는 중요한 실행 점검을 모델에 전적으로 맡기는 대신 로봇 측 스킬 로직에 두어 이 간극을 줄입니다. 로봇이 위치 추적을 잃거나, 취소 요청을 받거나, 내비게이션에 필요한 정보가 부족한 경우에는 이 구분이 중요합니다. 로컬 점검을 통해 다른 모델 응답을 기다리지 않고 스킬을 중단할 수 있습니다.
이 아키텍처는 엔지니어링 팀이 더 쉽게 검사할 수 있는 배포 단위도 제공합니다. 개발자는 모델의 작업 선택과 별도로 스킬의 고정된 행동 트리를 검토하고 시험할 수 있습니다. 그렇다고 동작이 정확하거나 안전하다고 보장되는 것은 아니지만, 실행 로직 전체를 즉석에서 생성하는 시스템보다 실제 동작을 시작하고 계속 수행하기 위한 조건을 살펴보기 쉽습니다.
평가 파이프라인은 실용적인 개발 방식을 제시합니다. 먼저 텍스트 환경에서 작업 로직을 빠르게 시험하고, 시뮬레이션에서 실패를 드러낸 다음, 온보드 작동을 평가하는 것입니다. 이들은 서로 보완하는 점검이지 실제 환경 성능을 서로 대체해 입증하는 수단은 아닙니다. 벤치마크는 창고 작업보다는 탐색, 검사, 상호작용에 초점을 두지만, 작업 계획과 감시를 통한 실행을 분리하는 방식은 창고 로봇 및 다른 이동형 플랫폼에도 유용합니다.
한계와 미해결 질문은 무엇인가요?
BT-Agent는 보유한 스킬을 순서대로 실행하고 매개변수를 지정할 수 있지만, 런타임에 새로운 물리적 기능을 만들어 낼 수는 없습니다. 대상 플랫폼에 맞춰 각 스킬과 가드를 작성하고 통합해야 합니다. 따라서 검토 가능한 실행 로직의 가치가 높아지는 동시에, 로봇에 새 기능이나 다른 제어기 인터페이스가 필요할 때마다 엔지니어링 작업이 추가됩니다.
또한 시스템은 Actor에 제공되는 근거의 품질에 좌우됩니다. 불완전하거나 모호한 관측 정보는 스킬의 사전 조건으로 실행할 수 없는 동작 일부를 막더라도 잘못된 작업 선택으로 이어질 수 있습니다. 보고된 온보드 시연은 아키텍처를 로컬에서 실행할 수 있음을 보여 주지만, 공개된 결과만으로는 여러 작업에서 얼마나 안정적으로 작동하는지 또는 기준 방법과 비교해 어떤 성능을 보이는지 판단하기에 충분한 정량적 성공 데이터가 없습니다.
연구진은 향후 과제로 행동 트리의 감독이 진행되는 동안 함께 추론하는 방법, 실패한 스킬 단계를 복구에 활용하는 방법, 더 강력한 모델의 시험을 제시합니다. 저자들은 텍스트 기반 정책 학습을 거쳐 시뮬레이션과 로봇 평가로 이어 가는 방향도 가능성으로 언급합니다.
자주 묻는 질문
이 시스템에서 행동 트리란 무엇인가요? 로봇 스킬이 조건을 점검하고 실행되는 방식을 정의하는 구조화된 프로그램입니다. BT-Agent는 이를 사용해 실행 규칙과 모델의 작업 수준 선택을 분리합니다.
BT-Agent는 모델이 모든 로봇 움직임을 직접 제어하게 하나요? 아니요. 모델은 이름이 지정된 스킬과 입력값을 선택하고, 사전에 정의된 스킬 로직이 실행을 제어하며 조건을 점검합니다.
10.9× 결과는 무엇을 측정하나요? 동시 작업자 8개 환경에서 Habitat 대비 텍스트 평가 처리량을 측정합니다. 작업 성공률이나 로봇의 속도를 나타내는 수치는 아닙니다.
BT-Agent를 실제 로봇에서 시험했나요? 예. 연구에서는 9-billion-parameter 모델을 사용한 온보드 시험을 보고하지만, 공개된 결과에는 해당 시험의 작업 성공률이 수치로 제시되지 않았습니다.
BT-Agent는 모델 기반 작업 선택과 로봇 측 점검을 결합해 실행 조건이 충족되지 않으면 스킬을 중단할 수 있습니다. 텍스트, 시뮬레이션, 온보드 평가를 통해 개발 경로를 보여 주지만, 더 다양한 작업과 플랫폼에서 시스템이 얼마나 안정적으로 작동하는지는 아직 밝혀지지 않았습니다.