CamVLA는 로봇이 재보정이나 외부 카메라 데이터 없이도 어떤 카메라 각도에서든 시각적 명령을 따를 수 있게 해줍니다. 시점 의존적인 기하학 정보와 동작 예측을 분리함으로써, 보지 못한 카메라 위치에서도 강력한 조작을 가능하게 합니다. 이는 구조화되지 않은 예측 불가능한 환경에 로봇을 배치하는 데 중요한 진전입니다.
목차
연구진이 만든 것
대부분의 VLA(Vision-Language-Action) 모델은 카메라가 로봇의 좌표계에 고정되어 있다고 가정합니다. 카메라를 몇 센티미터만 움직여도 모델은 실패합니다. 시각-동작 매핑이 그 하나의 시점에 맞춰 학습되기 때문입니다. CamVLA 팀은 임의의 3인칭 카메라 시점을 처리하는 보정 없는 VLA 모델을 구축했습니다.
핵심 아이디어는 분리된 아키텍처입니다. 하나의 단일 네트워크가 카메라-로봇 변환을 암묵적으로 학습하는 대신, CamVLA는 정책을 두 개의 병렬 헤드로 나눕니다. Action Head는 엔드 이펙터 움직임을 카메라 자체 좌표계에서 직접 예측합니다. Geometric Head는 단일 모노 RGB 이미지에서 6자유도 핸드-아이 행렬(카메라의 로봇 베이스 기준 자세)을 회귀합니다. 결정론적 변환을 통해 이 두 출력을 베이스 프레임 명령으로 결합하여 실행합니다. 시각-동작 매핑이 카메라와 동일한 프레임에서 학습되므로 시점 독립적이 됩니다. 기하학 헤드가 외부에서 시점 변화를 처리하므로, 로봇은 추가 보정 없이 새로운 위치, 높이, 각도에 배치된 카메라에 일반화할 수 있습니다.
주요 결과
연구진은 CamVLA를 시뮬레이션(RLAB 벤치마크 사용)과 실제 로봇 팔(3인칭 카메라)에서 평가했습니다. 고정 카메라 훈련을 사용하는 모델과 명시적 카메라 보정을 사용하는 모델 등 최신 VLA 기준선과 비교했습니다.
보지 못한 카메라 구성(평행 이동, 회전, 높이 변화)에서 CamVLA는 기준선을 지속적으로 능가했습니다. 시뮬레이션에서 카메라가 완전히 새로운 자세로 이동했을 때, 가장 강력한 고정 시점 기준선보다 작업 성공률이 15~25% 포인트 향상되었습니다. 실제 로봇에서는 훈련 중 본 적 없는 높이와 각도에 카메라를 배치했을 때, CamVLA는 고정 카메라 조건에 가까운 성공률을 보인 반면, 고정 시점을 가정한 기준선은 성공률이 30% 미만으로 떨어졌습니다.
또한 중간 정도의 시점 변화(예: 20cm 평행 이동, 15도 회전)에서도 성능 저하 없이 강건함을 유지했습니다. 반면 보정 기반 기준선은 핸드-아이 변환을 다시 측정해야 성능을 회복할 수 있었습니다. 이 결과는 학습된 기하학이 명시적으로 측정된 기하학을 시점 강건성 측면에서 대체할 수 있음을 보여줍니다.
작동 원리
CamVLA는 표준 VLA 프레임워크(일반적으로 카메라 이미지와 언어 명령을 처리하여 엔드 이펙터 동작을 출력하는 대규모 비전-언어 모델)를 기반으로 합니다. 중요한 차이점은 모델의 동작 공간이 로봇 베이스 프레임이 아닌 카메라 프레임으로 표현된다는 점입니다.
카메라 중심 동작 생성이 핵심 혁신입니다. 표준 VLA는 카메라 뷰의 픽셀에서 베이스 프레임의 동작으로의 매핑을 학습하는데, 이는 암묵적으로 카메라-베이스 변환을 인코딩합니다. 카메라가 움직이면 이 변환이 바뀌므로 매핑이 깨집니다. 대신 CamVLA는 예측된 동작을 카메라 좌표축에 자연스럽게 정렬된 델타(변화)로 정의합니다. 입력 이미지와 출력 동작이 모두 동일한 카메라 프레임에 있으므로 매핑 자체가 카메라 자세에 불변합니다.
Geometric Head는 동일한 RGB 이미지를 입력받아 6자유도 핸드-아이 행렬(회전 + 평행 이동)을 출력하는 작은 신경망입니다. 이 행렬은 일반적으로 보정을 통해 얻는 카메라-베이스 변환과 동일하지만, 이제 픽셀로부터 회귀됩니다. 두 출력(카메라 중심 델타 동작과 핸드-아이 행렬)은 결정론적 순기구학 계산을 통해 결합되어 최종 베이스 프레임 동작을 생성합니다.
훈련은 기존 로봇 조작 에피소드 데이터셋에서 종단 간(end-to-end)으로 이루어집니다. 기하학 헤드는 장면의 시각적 단서(예: 로봇 팔, 테이블, 마커의 모양)로부터 카메라 자세를 추론하는 법을 학습합니다. 카메라 중심 동작 헤드는 어떤 시점이 사용되는지 알 필요가 없으므로, 다양한 카메라 위치의 데이터로 훈련된 후 새로운 시점에 배치될 수 있습니다. 기하학 헤드가 그때그때 적응합니다.
로봇 공학에서의 중요성
현재 VLA 기반 로봇 제어는 카메라가 이동되거나 재장착되거나 다른 환경에서 사용될 때 취약합니다. 이는 작업자가 카메라를 영구적으로 고정하거나 설정이 변경될 때마다 번거로운 핸드-아이 보정을 수행해야 함을 의미합니다. CamVLA는 이러한 병목을 제거하여, 카메라 배치가 유연한 환경(창고, 조립 라인, 또는 작업마다 카메라를 옮겨야 하는 가정)에 VLA 로봇을 배치하는 것을 실현 가능하게 합니다.
중고 산업용 로봇 또는 통합 카메라가 있는 협동 로봇을 평가하는 운영 관리자에게 이 기술은 카메라를 교체하거나 새 작업 셀에 재배치할 때 비전 정책을 재조정할 필요가 없음을 의미합니다. 또한 로봇이 특정 작업에 가장 좋은 뷰를 제공하는 카메라를 선택할 수 있는 다중 시점 시스템의 가능성을 열어주며, 각각에 대해 별도의 보정이 필요 없습니다.
더 넓게 보면, 이 연구는 VLA 모델을 진정한 환경 수준의 강건성으로 이끕니다. 시점 변화를 공학적으로 제거하는 대신, 모델이 자연스럽게 처리하도록 학습하는 것입니다. 이는 로봇이 임의의 작업 공간에 투입되어 언어 명령과 단일 웹캠만으로 조작 작업을 시작할 수 있는 방향으로 가는 한 걸음입니다.
한계와 미해결 과제
CamVLA는 현재 단일 3인칭 카메라로 제한됩니다. 많은 이중 팔 또는 정밀 조작 설정에서 흔한 손목 장착 카메라의 시점 변화는 처리하지 못합니다. 또한 극단적인 시점 변화(예: 매우 낮거나 매우 먼 카메라)에서는 기하학 헤드의 회귀 정확도가 분포 외 시각적 특징으로 인해 저하됩니다. 높은 정밀도가 필요한 작업(예: 페그 인 홀 삽입)은 예측된 핸드-아이 행렬의 작은 오차에도 영향을 받습니다.
또 다른 미해결 과제는 장면에 독특한 시각적 단서가 없을 때(예: 배경 특징이 없는 빈 테이블) 기하학 헤드가 카메라 자세를 잘못 추정할 수 있다는 점입니다. 논문에서는 이를 향후 연구 방향으로 언급하며, 프레임 간 시간적 일관성 통합이나 관성 데이터 융합을 가능한 해결책으로 제시합니다.
자주 묻는 질문
"보정 없음"이란 무엇을 의미하나요? 이는 로봇이 새로운 카메라 시점에 적응하기 위해 외부 카메라 보정 절차(체커보드 사용이나 카메라 위치 측정 등)가 필요하지 않음을 의미합니다. 모델이 이미지 자체에서 카메라 자세를 추론합니다.
CamVLA는 표준 VLA 모델과 어떻게 다른가요? 표준 VLA 모델은 신경망 내부에서 카메라-로봇 변환을 암묵적으로 학습하여 시점 의존적입니다. CamVLA는 이를 시점 독립적 동작 생성을 위한 헤드와 시점 추정을 위한 헤드로 분리하여, 보지 못한 카메라 위치에 일반화할 수 있습니다.
이 방법은 모든 로봇 팔에서 작동하나요? 원칙적으로 그렇습니다. Action Head는 추정된 핸드-아이 행렬과 순기구학을 사용하여 모든 로봇의 좌표계로 변환할 수 있는 카메라 중심 델타 동작을 출력합니다. 연구진은 일반적인 로봇 팔에서 성공적으로 테스트했습니다.
여러 대의 카메라나 특수 하드웨어가 필요한가요? 아니요. 단일 모노 RGB 카메라(예: 웹캠 또는 로봇 자체 카메라)를 사용합니다. 깊이 센서나 다중 카메라 설정이 필요하지 않습니다.
결론
CamVLA는 픽셀에서 직접 카메라 자세를 추론하는 학습을 통해 보정 없이 시점 강건성을 달성할 수 있음을 보여줍니다. 분리된 아키텍처는 카메라가 새로운 위치로 이동되어도 높은 작업 성공률을 유지하여, VLA 기반 조작을 실제 배포에 훨씬 더 실용적으로 만듭니다. 이 연구는 로봇이 수동 설정 없이 모든 각도에서 보고 행동할 수 있는 방향으로 나아가게 합니다.