한 선도적인 AI 연구소의 연구진이 고수준 계획기(시스템-2 VLM)와 저수준 모터 실행기(시스템-1 VLA)를 결합한 이중 시스템 프레임워크인 Cortex를 개발했습니다. 이 프레임워크는 장기 조작 작업을 해결하기 위해 설계되었습니다. 단일 종단 간 모델과 달리 Cortex는 32개의 표준 기술 프리미티브를 포함한 구조화된 하위 작업 인터페이스를 사용하여 의미-운동 불일치를 방지하며, 실제 화학 실험에서 제로샷 오류 복구를 입증했습니다.
목차
연구진이 만든 것
Cortex는 장기 조작을 위한 양방향 정렬 구현 에이전트 프레임워크입니다. 계획과 실행을 두 개의 상호 작용 시스템으로 분리합니다. 시스템-2는 Qwen3-VL-8B 기반의 비전-언어 모델(VLM)로, 인지 조정자 역할을 합니다. 고수준 명령과 스트리밍 이미지 관측을 입력으로 받아 실행 가능한 하위 작업을 생성하고 텍스트 메모리 로그를 유지합니다. 시스템-1은 비전-언어-행동(VLA) 모델로, 반응형 실행기 역할을 하며 현재 하위 작업을 처리하여 약 10Hz의 주파수로 모터 명령을 생성합니다.
핵심 혁신은 양방향 하위 작업 인터페이스입니다. 32개의 표준 기술 프리미티브(예: "집기", "놓기", "따르기", "측정하기")로 구성되어 계획된 모든 하위 작업이 물리적으로 실행 가능함을 보장합니다. 시스템은 또한 학습 중 "이벤트 균형 샘플링" 전략을 도입하여 계획기가 긴 실행 구간에서 길을 잃지 않고 작업 전환에 주의를 기울이도록 합니다. 추론 중에는 두 시스템이 비동기적으로 실행됩니다(시스템-2는 2Hz, 시스템-1은 10Hz). 이를 통해 문제 발생 시 실시간 폐쇄 루프 보정이 가능합니다.
주요 결과
Cortex는 시뮬레이션과 실제 환경 모두에서 평가되었습니다. 까다로운 다단계 시뮬레이션 환경(입력이 원시 고수준 명령뿐인 경우)에서 Cortex는 장기 작업에서 단일 종단 간 VLA를 "단호히 능가"했습니다. 제공된 텍스트에는 정확한 성공률이 명시되지 않았지만, 논문은 기준점 대비 상당한 차이를 주장합니다.
실제 실험에서는 RGB 카메라가 장착된 ARX ACONE 이중 암 로봇에 시스템이 배포되었습니다. 가정용 물체, 주방 도구, 화학 용기를 포함한 탁상 조작 작업을 수행했습니다. 중요한 점은 Cortex가 제로샷 물리적 오류 복구를 입증했다는 것입니다. 하위 작업이 실패하면(예: 따르기 작업 중 물체를 떨어뜨림) 시스템-2가 시각적 스트림에서 이상을 감지하고, 해당 실패 시나리오에 대한 추가 학습 없이 즉시 대체 하위 작업을 재생성했습니다.
시스템의 학습 세부 사항: 시스템-2는 32개의 NVIDIA A800 GPU에서 1420만 개의 멀티모달 샘플로 모든 파라미터를 고정 해제한 상태로 미세 조정되었습니다. 시스템-1은 시뮬레이션에서 전체 파라미터로 미세 조정되었습니다. 이 수치는 설정을 재현하려는 실무자에게 중요합니다.
작동 방식
Cortex는 두 개의 상호 작용 루프로 작동합니다.
시스템-2 (인지 계획기)는 약 2Hz로 실행됩니다. 사용자의 고수준 명령(예: "화학 용액 준비")과 현재 카메라 이미지를 받습니다. 그런 다음 다음 실행 가능한 하위 작업을 예측하고, 텍스트 메모리 로그를 업데이트하며, 32개의 기술 프리미티브를 기반으로 구조화된 형식으로 해당 하위 작업을 출력합니다. 각 프리미티브에는 공간 및 운동학적 제약 조건이 있습니다. 예를 들어, "집기(물체)"는 그리퍼가 비어 있고 물체가 도달 가능한 경우에만 실행됩니다. 이를 통해 계획기가 불가능한 동작("운동 환각")을 상상하는 것을 방지합니다.
시스템-1 (반응형 실행기)는 약 10Hz로 실행됩니다. 시스템-2의 하위 작업과 현재 시각적 관측을 받아 연속적인 모터 명령을 생성합니다. 시스템-1은 현재의 미세 목표에만 반응하면 되므로 더 작고 빠를 수 있습니다.
양방향 정렬은 학습 중에 강제됩니다.
- 구조화된 메타데이터 구축: 각 학습 에피소드에는 실제 하위 작업이 변경되는 시점을 표시하는 타임스탬프가 주석으로 추가됩니다. 인터페이스는 32개의 프리미티브와 운동학적으로 최적의 경로(예: 붓기 전에 항상 병을 집기)로 제한됩니다.
- 이벤트 균형 샘플링: 궤적에서 프레임을 균일하게 샘플링하는 대신(계획기를 "진행 중인 실행" 프레임에 편향시킴) 프레임워크는 하위 작업 경계 근처의 프레임을 과도하게 샘플링합니다. 이를 통해 시스템-2가 다음 단계로 전환해야 하는 시점을 정확히 인식하도록 학습합니다.
- 비동기 추론: 두 시스템은 독립적으로 실행됩니다. 시스템-1이 현재 하위 작업을 완료했는데 시스템-2가 아직 처리 중이면 시스템-1은 다음 명령을 기다립니다. 이 설계는 더 빠른 실행기가 느린 계획기에 의해 완전히 중단되는 것을 방지합니다.
로봇 공학에서의 의의
Cortex 프레임워크는 현재 비전-언어-행동 모델의 핵심 약점을 해결합니다. 즉, 로봇 제어를 단일 시퀀스-투-시퀀스 문제로 취급하여 장기 작업에서 오류가 누적되는 문제입니다. 작업을 구조화된 하위 작업으로 명시적으로 분해하고 두 모델을 비동기적으로 실행함으로써 Cortex는 단일 VLA가 할 수 없는 두 가지를 달성합니다.
- 재학습 없는 오류 복구: 하위 작업이 실패할 때(물리적 무작위성으로 인해 실제 조작에서 흔함) 계획기가 시각적 피드백을 기반으로 재계획할 수 있으며, 새로운 학습이 필요하지 않습니다.
- 확장성: 새로운 기술을 새로운 프리미티브로 추가할 수 있으며 전체 시스템을 재학습할 필요가 없습니다.
이는 긴 순서의 픽 앤 플레이스 작업을 수행하는 창고 로봇이나 작업 유연성이 중요한 제조 현장의 중고 협동 로봇에 특히 적합합니다. 이중 시스템 접근 방식은 고수준 추론과 저수준 모터 제어가 모두 필요한 휴머노이드 로봇을 위한 새로운 아키텍처에 영감을 줄 수도 있습니다.
한계 및 미해결 과제
인상적이지만 Cortex에는 여러 한계가 있습니다. 첫째, 32개의 기술 프리미티브는 수작업으로 설계되었으며, 이는 전문 지식이 필요하고 모든 가능한 조작 시나리오를 포괄하지 못할 수 있습니다. 둘째, 시스템은 대규모 VLM(Qwen3-VL-8B)에 의존하므로 학습에 고성능 컴퓨팅(32개의 A800 GPU)이 필요합니다. 소형 로봇이나 엣지 배포에는 아직 실용적이지 않습니다. 셋째, 실제 실험은 조명이 제어되고 배경이 단순한 탁상 설정으로 제한되었습니다. 마지막으로, 논문은 동일한 작업에 대한 직접 비교 벤치마크 수치를 제공하지 않았으며, "단호히 능가"한다는 주장은 정성적입니다. 커뮤니티는 RLBench나 CALVIN과 같은 표준 벤치마크에서 재현 가능한 평가를 통해 이점을 확인해야 합니다.
자주 묻는 질문
Cortex가 다른 이중 시스템 로봇 프레임워크와 다른 점은 무엇인가요? Cortex는 32개의 표준 기술 프리미티브와 이벤트 균형 샘플링을 포함한 구조화된 하위 작업 인터페이스를 도입하여 장기 작업 중 의미적, 시간적 모호성을 모두 명시적으로 해결합니다.
Cortex는 새로운 환경마다 재학습이 필요한가요? 아니요. 시스템은 추가 미세 조정 없이 새로운 실제 화학 작업에서 제로샷 물리적 오류 복구를 입증했습니다.
연구진이 사용한 로봇 하드웨어는 무엇인가요? 탁상 조작을 위해 RGB 카메라가 장착된 ARX ACONE 이중 암 로봇을 사용했습니다.
코드나 사전 학습된 모델이 공개적으로 제공되나요? 논문은 오픈소스 출시를 언급하지 않았지만, 다른 연구소가 재현할 수 있을 만큼 충분히 상세하게 설명되어 있습니다.
Cortex는 대규모 VLM 계획기와 빠른 모터 실행기를 결합하는 실용적인 방법을 제시하며, 장기 로봇 자율성의 핵심 병목을 해결합니다. 비동기 양방향 설계는 추론하고, 반응하며, 즉시 복구할 수 있는 로봇을 향한 한 걸음입니다.