시스템 개요
이 구조는 전통적인 로봇 미들웨어와 최근의 언어 기반 로보틱스 사이에 자리한다. LLM과 VLA(Vision-Language-Action) 시스템은 강력한 작업 수준의 사전지식과 일반화 능력을 보여준다.
객체 포즈와 조작 파라미터
세 번째 핸드오프는 인식 결과를 런타임에서 사용할 수 있는 객체로 변환한다. WorldObject에는 6D 포즈, 프레임 ID, 신뢰도, 역할, 스킬, 메타데이터가 담긴다. FoundationPose 서비스 경계는 이제 구체적인 HTTP/RGB-D 프로토콜로 구현되어 있다. 에이전트는 대상 질의, 출력 프레임, 카메라 내부 파라미터, RGB 영상, 깊이 영상, 선택적 마스크를 전송하고, GPU 측 서비스는 객체 이름, 프레임, 신뢰도, 스킬, 역할, 포즈, 메시 메타데이터를 반환한다. 또한 이 서비스는 상태, 모델, 객체 엔드포인트를 제공하며, GPU 인식 스택과 마스크가 준비되기 전에도 소프트웨어 통합을 진행할 수 있도록 모의 모드를 지원한다.
이 프로토타입은 이어서 WorldObject 레코드에 결정론적인 조작 파라미터를 추가한다. 포즈, 계산된 크기, 역할, 사용 가능한 스킬, 런타임 바인딩을 입력으로 받아 조작 파라미터 플래너가 접근, 파지, 들어 올리기, 놓기, 삽입, 따르기, 분배, 두드리기, 스와이프, 비틀기에 필요한 파라미터를 생성한다. 이러한 기본값은 perception_args, skill_args, target_skill_args에 저장되며, 런타임은 스킬 호출을 컴파일할 때 이를 병합한다.
이 핸드오프는 인식 결과와 스킬 템플릿 사이를 해석 가능한 방식으로 연결한다. 따라서 드라이런 추적만으로도 특정 파지 포즈나 배치 포즈, 삽입 깊이, 따르기 동작의 여유 공간이 왜 그렇게 결정되었는지 정확히 설명할 수 있다.
목표 및 작업 표현
실패 시 중단하는 정책은 의도적으로 보수적으로 설계되었다. 이를 통해 언어 플래너가 인식 누락이나 미지원 스킬을 적당히 얼버무리는 일을 막을 수 있다. 또한 표현 핸드오프를 쉽게 디버깅할 수 있다. 문제 발생 지점을 장면 원점 준비, 월드 기준 정합, 플래너 검증, 스킬 지원 범위, 조작 파라미터 해석, 런타임 사전 점검, 안전성 검증, 실행기 라우팅, 하드웨어 실행 중 하나로 좁힐 수 있기 때문이다.
현장 교훈
교훈 1: 6D 포즈만으로는 충분하지 않다
FoundationPose의 출력은 유용하지만, 모바일 조작 시스템에는 포즈와 함께 프레임, 신뢰도, 객체 식별 정보, 형상, 스킬, 역할, 대상별 조작 파라미터가 필요하다. 하위 플래너가 받아야 하는 것은 가공되지 않은 인식 결과가 아니라 실제 행동에 사용할 수 있는 객체다.
교훈 2: 프로파일은 단순한 설정이 아니라 표현이다
사용, 보정, 개발 프로파일은 각각 객체 사전지식, 기하학적 배치 정보, 기능 계약이라는 서로 다른 형태의 상태를 담는다. 이 프로파일을 일급 표현으로 취급하자 임의의 설정 파일을 사용할 때보다 시작 점검과 드라이런 추적에서 더 많은 정보를 얻을 수 있었다.
교훈 3: 제약된 중간 표현은 LLM 플래닝을 디버깅 가능하게 만든다
LLM은 스킬 뱅크 계약에 등록된 스킬 호출만 제안한다. 임의의 ROS 명령을 만들어 내거나, 역할 요구사항을 우회하거나, 선언되지 않은 인자를 사용하거나, 등록되지 않은 복구 동작을 실행할 수 없다. 이 설계는 유연성을 일부 희생하지만, 지원되지 않는 기능을 모델의 숨은 가정으로 남겨 두지 않고 unmapped_requests로 드러낸다.
교훈 4: 배포를 가로막는 문제는 곧 표현의 문제다
실제 로봇에서 남은 작업은 단순한 하드웨어 구동 준비가 아니다. 측정된 카메라·라이다·슬라이드 변환, 테이블 프레임 위치 추정, 객체 메시, 실제 RGB-D 마스크 또는 검출 결과, 보정된 작업공간 경계 등 빠져 있는 표현을 완성하는 일이다.
이 현장 보고서의 가치는 이러한 장애물이 표현 인터페이스에서 드러나며, 바로 그 지점에서 검증할 수 있다는 데 있다.
결론
이 보고서는 OpenArm 기반 체화 지능 프로토타입을 시스템 통합 과정에서 이루어지는 일련의 표현 핸드오프로 다시 바라본다. 핵심 산출물은 새로운 인식 모델이나 제어기가 아니다. 실험실 지시, 지도, 객체 포즈, 객체 사전지식, 스킬 뱅크 계약을 검증된 스킬 호출, 조작 파라미터, 모션 목표, 런타임 피드백으로 이어 주는 감사 가능한 경로다.
현재 구현은 이러한 핸드오프가 소프트웨어 수준과 드라이런에서 실행 가능하다는 근거를 제공하는 동시에, 실제 장면의 시각 조작을 주장하기 전에 무엇을 더 해야 하는지도 분명히 보여준다. 다음 단계는 임시 보정값과 모델 자산을 측정된 현장 데이터로 교체하고, FoundationPose 서비스를 현재 사용 프로파일의 객체 레지스트리에 맞추며, 실제 장면에 대한 엄격한 정합을 활성화하고, 집기·배치·삽입·따르기·청소·화면 상호작용 작업에서 작업 수준의 실패를 평가하는 것이다.
감사의 글
본 연구는 선전시 기초연구 프로그램(과제 번호 JCYJ20200109141235597), 중국 국가자연과학기금(과제 번호 72401122 및 61761136008), 광둥성 기초 및 응용 기초연구재단(과제 번호 2024A1515012241 및 2021A1515110024), 선전 피콕 플랜(과제 번호 KQTD2016112514355531), 광둥성 혁신·창업 인재팀 유치 프로그램(과제 번호 2017ZT07X386), 호주연구위원회(ARC) 디스커버리 그랜트 DP210101093 및 DP220100803의 지원을 받았다.
자주 묻는 질문
세 번째 표현 핸드오프는 무엇을 변환하는가? 인식 결과를 포즈, 프레임, 신뢰도, 역할, 스킬, 메타데이터를 포함하는 런타임용 객체로 변환한다.
실패 시 중단 정책은 왜 보수적인가? 언어 플래너가 인식 누락이나 미지원 스킬을 감추지 못하게 하고, 실패 지점을 더 쉽게 특정할 수 있도록 하기 때문이다.
하위 플래너에는 어떤 정보가 전달되어야 하는가? 포즈, 프레임, 신뢰도, 식별 정보, 형상, 스킬, 역할, 대상별 조작 파라미터를 갖춘 실행 가능한 객체가 전달되어야 한다.
실제 장면의 시각 조작을 주장하려면 무엇이 더 필요한가? 임시 보정값과 모델 자산을 측정된 현장 데이터로 교체하고, 실제 장면에 대한 엄격한 정합을 활성화한 뒤, 작업 수준의 실패를 평가해야 한다.