임베디드 AI 배포는 기존의 LLM 및 VLM 추론과 대비하여 이해해야 합니다. 일반적인 언어 또는 멀티모달 서비스는 대부분 동기식 요청-응답 경로, 비교적 균일한 토큰 인터페이스, 대규모 배치 또는 다수의 동시 사용자에 대한 처리량 중심 최적화를 가정합니다. 반면 Embodied.cpp는 다른 환경을 마주합니다: 임베디드 모델은 폐루프 제어 내에서 실행되며, 여러 이기종 모듈을 결합하고, 시간이 지남에 따라 새로운 모델군을 흡수하면서 로봇 측 하드웨어에 배포 가능해야 합니다. 오픈소스 임베디드 AI 추론 런타임 프로젝트로서 이러한 차이는 세 가지 실용적인 시스템 과제로 수렴되며, 각각이 Embodied.cpp의 설계를 직접적으로 형성합니다.
임베디드 AI 추론의 과제
다중 속도 실행. 오픈소스 프로젝트로서 Embodied.cpp는 현재의 임베디드 모델뿐만 아니라 미래의 임베디드 아키텍처가 필요로 할 최적화도 지원해야 합니다. 이는 많은 현대 임베디드 시스템이 더 이상 단일 모놀리식이 아니기 때문에 어렵습니다. VLA 모델과 WAM은 점점 더 지각 인코더, 트랜스포머 백본, 예측 분기, 행동 헤드 등 여러 모듈로 구성됩니다. 기존 LLM 런타임과 달리 효율적인 임베디드 추론은 모든 모듈이 매 단계마다 실행되어야 하는 것은 아닙니다. 지각 스택은 덜 자주 업데이트될 수 있고, 예측 분기는 미래 추정이 필요할 때만 실행되며, 행동 헤드는 훨씬 높은 제어 속도로 실행되어야 할 수 있습니다.
지연 시간 우선 폐루프 제어. 임베디드 배포는 또한 일반적인 클라우드 추론보다 더 어려운 성능 문제를 제기합니다. 많은 로봇 공학 환경에서 실행은 사실상 배치-1입니다: 단일 로봇이나 시뮬레이터가 지연 시간이 짧고, 지터가 적으며, 예측 가능한 타이밍 동작으로 지속적으로 행동을 수신해야 합니다. 동시에 배포 대상은 제트슨(Jetson) 기기, RK 기반 플랫폼, x86 엣지 박스, 워크스테이션급 시스템 등 이기종입니다. 이는 지연 시간 우선 실행과 다양한 백엔드 및 기기에서 소규모 배치 실행을 효율적으로 만드는 데 필요한 융합 추론 기술 사이에 긴장을 만듭니다.
확장 가능한 임베디드 인터페이스. 마지막으로, 임베디드 AI 추론 런타임을 구현하는 것은 단지 스케줄링 문제만이 아닙니다. 새로운 모델군은 정기적으로 새로운 종속성 스택, 더 큰 사용자 지정 연산자, 새로운 입출력 규칙을 도입합니다. 실용적인 오픈소스 추론 런타임은 따라서 모델별 라이브러리를 흡수하고, 더 넓은 연산자 표면을 포괄하며, 인터페이스 양쪽에서 새로운 임베디드 데이터 유형을 지원해야 합니다. 입력에는 이미지, 언어, 고유수용감각, 이력, 힘이나 촉각 신호, 시뮬레이터 제공 상태가 포함될 수 있습니다. 출력은 이산 행동 토큰, 연속 행동 벡터, 행동 청크, 세계 예측, 중간 제어 표현일 수 있습니다.
종합하면, 이러한 과제는 임베디드 배포를 LLM 런타임의 작은 확장으로 간주해서는 안 되는 이유를 설명합니다. 재사용 가능한 기반은 여전히 현실적이고 중요하며, 특히 멀티모달 투영, 트랜스포머 스타일 실행, 백엔드 이식성, 연산자 재사용 측면에서 그렇습니다. 그러나 최상위 계약은 토큰 서빙에서 임베디드 제어로 변경되었으며, 오픈 런타임은 오늘날의 모델 구조를 하드코딩하기보다는 미래의 임베디드 최적화를 흡수할 수 있을 만큼 확장 가능해야 합니다.
설계 원칙 및 런타임 아키텍처
이러한 과제는 차례로 Embodied.cpp의 세 가지 설계 원칙을 동기 부여합니다:
- 모듈식 다중 속도 실행. Embodied.cpp는 명시적 실행 단위, 플러그 가능 모듈, 공유 상태 또는 특성 풀, 구성 가능한 갱신 정책을 노출하여 서로 다른 구성 요소가 단일 동기 경로를 강제하지 않고 서로 다른 속도로 실행될 수 있도록 해야 합니다.
- 지연 시간 우선 융합 실행. Embodied.cpp는 안정적인 제어 성능을 우선시하면서도 그래프 재생, 버퍼 재사용, 연산자 융합, 백엔드별 디스패치, 호스트-장치 데이터 이동을 주의 깊게 처리하여 이기종 기기에서 효율적인 소규모 배치 추론을 가능하게 해야 합니다.
- 확장 가능한 연산자 및 I/O 지원. Embodied.cpp는 타입화된 임베디드 인터페이스, 플러그 가능 헤드, 일급 배포 어댑터, 그리고 새로운 임베디드 패러다임을 매번 주변 런타임을 재구축하지 않고 구현할 수 있을 만큼 충분한 백엔드 및 연산자 범위를 제공해야 합니다.
5계층 런타임 아키텍처
Embodied.cpp의 아키텍처는 임베디드 모델의 공유 실행 경로를 다섯 개의 개별 계층으로 매핑합니다:
- 입력 어댑터 — 이미지, 언어, 고유수용감각, 이력, 힘이나 촉각 신호, 시뮬레이터 제공 상태 등 다양한 센서 입력을 처리하여 통합 텐서 표현으로 변환합니다.
- 시퀀스 빌더 — 백본 모델이 예상하는 입력 시퀀스를 구성하며, 멀티모달 토큰화, 투영, 위치 인코딩을 처리합니다.
- 백본 실행 — 핵심 트랜스포머 또는 기타 신경망 백본을 실행하며, 백엔드별 최적화를 활용하여 효율적인 소규모 배치 추론을 수행합니다.
- 헤드 플러그인 — 이산 행동 토큰, 연속 행동 벡터, 행동 청크, 세계 예측, 중간 제어 표현에 대한 모델별 출력 헤드를 구현합니다.
- 배포 어댑터 — 표준화된 인터페이스를 통해 런타임을 로봇 하드웨어, 시뮬레이터 또는 기타 제어 루프에 연결합니다.
VLA 모델 및 세계-행동 모델 평가
저자들은 Embodied.cpp를 널리 사용되는 두 가지 VLA 모델과 하나의 대표적인 WAM 벤치마크에서 평가하여 높은 정확도를 유지하면서 효율성이 향상됨을 보여줍니다. 평가 결과 5계층 아키텍처가 재사용 가능한 추론 기반을 모델별 구성 요소로부터 성공적으로 분리하여 이기종 엣지 기기 전체에 효율적인 배포를 가능하게 함을 확인합니다.
논의 및 향후 작업
최근 모델의 증거는 한 방향을 가리킵니다: 임베디드 배포는 모델군이 계속 다양화됨에도 불구하고 공유 실행 경로로 수렴하고 있습니다. Embodied.cpp는 이러한 수렴을 공통 경로를 인프라로, 분기되는 부분을 플러그인으로 취급하는 추론 런타임으로 포착합니다. 그 5계층 아키텍처는 상호작용 패턴, I/O 의미론, 목표, 배포 경계를 명시적으로 유지하면서도 패러다임 전반에 걸쳐 동일한 백본 실행 경로를 재사용합니다. 현재 개정판에서 저자들은 두 가지 VLA 모델에서 C++ 추론 경로를 정량적으로 검증하고 건축학적 분석을 통해 WAM을 위치시킵니다. 새로운 임베디드 모델 변형이 등장함에 따라 안정적인 코어와 플러그 가능한 작업별 구성 요소 사이의 이러한 분리는 그 가치를 더욱 더할 것입니다.
자주 묻는 질문
임베디드 AI 추론이 기존 LLM/VLM 추론과 다른 점은 무엇인가요? 임베디드 모델은 이기종 모듈, 다중 속도 실행 요구 사항, 로봇 측 하드웨어에서의 배치-1 지연 시간 제약을 가진 폐루프 제어에서 작동하며, 클라우드 LLM 서빙의 동기식 요청-응답 처리량 최적화와 대조됩니다.
Embodied.cpp는 모델 구성 요소 간의 서로 다른 갱신 속도를 어떻게 처리하나요? 명시적 실행 단위와 구성 가능한 갱신 정책을 노출하여 지각 인코더, 트랜스포머 백본, 예측 분기, 행동 헤드가 각각 필요한 주파수로 실행될 수 있도록 하며, 단일 동기 경로를 강제하지 않습니다.
Embodied.cpp는 어떤 하드웨어 플랫폼을 지원하나요? 백엔드 추상화 계층을 통해 제트슨 플랫폼, RK 기반 시스템, x86 엣지 박스, 워크스테이션급 하드웨어를 포함한 이기종 엣지 기기를 대상으로 합니다.
Embodied.cpp는 어떤 유형의 임베디드 모델을 실행할 수 있나요? 현재 런타임은 시각-언어-행동(VLA) 모델과 세계-행동 모델(WAM)을 지원하며, 주변 런타임을 재구축하지 않고 새로운 임베디드 모델군을 흡수할 수 있는 플러그인 아키텍처를 갖추고 있습니다.