FurnitureVLA: 비전-언어-행동 모델을 활용한 IKEA 가구 조립 로봇… (2026)

본 연구에서는 비전-언어-행동 모델(VLA)을 사용한 실제 규모의 양팔 가구 조립에 대한 체계적인 연구를 소개합니다. 우리는 대규모 데이터 수집을 위한 확장 가능한 시뮬레이션 파이프라인과 VR 원격 조작 시스템을 구축하고, 장기 실행 성능 향상을 위한 진행 강화 VLA를 제안하며, 조립 정밀도를 위한 VLA 설계 요소에 대한 집중 연구를 수행합니다. 이 작업은 도전적인 실제 조작 작업에 VLA를 배포하기 위한 한 걸음입니다.

양팔 가구 조립 작업

하드웨어 설정. 조립은 두 대의 Kinova Gen3 7자유도 로봇 팔을 사용하여 테이블 위에서 수행되며, 왼쪽 팔에는 Robotiq Hand-E 그리퍼, 오른쪽 팔에는 Robotiq 2F-85 그리퍼가 장착됩니다. 기존 VLA 연구에서 흔히 사용되는 전면 및 손목 카메라 외에도 후면 카메라를 추가하여 보완적인 시야를 제공합니다. 대형 가구 부품과 빈번한 양팔 상호작용으로 인해 전면 관찰이 종종 가려지기 때문입니다.

작업 특성. 우리는 난이도가 증가하는 세 가지 IKEA 제품(LACK 사이드 테이블, KALLAX 선반, IVAR 의자)을 사용하여 실제 규모의 양팔 가구 조립을 연구합니다. 각 작업에 대해 간결하고 설명적이며 의미적으로 기반을 둔 언어 명령어를 포함한 하위 작업 분해를 정의합니다. 우리의 작업은 다음과 같은 도전적인 특성을 보입니다:

장기 실행. 각 조립은 엄격한 순서의 하위 작업을 완료해야 하며, 작업 지평은 LACK과 KALLAX의 경우 4단계, IVAR의 경우 7단계이며, 제어 단계 수는 650–1550단계(65–155초)로 기존 벤치마크를 초과합니다.

고정밀 삽입. 각 하위 작업은 결합 부품 간의 정밀한 정렬이 필요하며, 병진 및 회전 허용 오차가 이전의 장난감 규모 조립 벤치마크보다 엄격합니다.

다양한 조작 기술. 각 하위 작업은 구조화된 언어 명령어(예: "부품을 잡고, 정렬하고, 삽입하세요")로 지정되며, 잡기, 정렬, 삽입, 들어올리기, 회전과 같은 여러 조작 기술의 조합이 필요합니다. 간단한 조립(LACK, 하위 작업 4개)은 약 12회의 기술 실행을 포함하는 반면, IVAR과 같은 복잡한 조립은 더 긴 작업 지평과 추가 양팔 작업으로 인해 최대 25회의 기술 실행을 포함할 수 있습니다.

양팔 협력. 여러 하위 작업은 양쪽 팔이 크고 무거운 부품을 동시에 조작해야 합니다. 예를 들어, KALLAX 상단 패널을 부착하려면 양팔로 전체 너비의 패널을 동시에 들어 올리고, 회전시키고, 정렬해야 합니다. 이러한 양팔 하위 작업은 최대 4개의 순차적 동작 프리미티브를 포함하며, 전체적으로 도달 가능성을 유지하고 특이점을 피해야 합니다.

VR 원격 조작을 통한 실제 데이터 수집

단일 작업자가 두 로봇 팔을 동시에 제어하는 VR 원격 조작 시스템 설정

실제 배포를 지원하기 위해, 우리는 고품질 데모 수집을 위한 VR 원격 조작 시스템을 개발하여, Kinova Gen3 플랫폼에서 단일 원격 작업자가 협력적인 양팔 제어를 가능하게 합니다. 장기적이고 고정밀의 양팔 조립의 복잡성을 고려하여, 다음과 같은 설계 원칙을 채택합니다:

분리된 병진 및 회전 제어. 세 병진 축은 부드러운 끝점 움직임을 위해 동시에 제어되는 반면, 회전은 안정성과 정밀도를 높이기 위해 독립적으로 처리됩니다. 이는 IVAR의 레일 정렬과 같은 정밀 삽입 하위 작업에 중요합니다.

미리 정의된 잡기 프리미티브. 버튼 입력을 통해 트리거되는 이산적인 방향 변형을 가진 잡기 자세 세트를 정의합니다. 활성화되면 끝점 방향이 미리 설정된 값으로 스냅되면서 현재 위치를 유지하므로, 수동 손목 회전을 제거하고 일관된 작업별 구성을 강제합니다.

동기화된 양팔 제어. 양팔이 동시에 대칭 명령을 실행하는 동기화 모드를 도입하여, 크고 무거운 가구 부품의 효율적인 재배치, 정렬, 회전을 가능하게 합니다.

시뮬레이션 실험

우리는 다음을 조사합니다: 1) 진행 강화 VLA가 장기 실행 성능을 어떻게 향상시키는지; 2) 주요 지각 및 제어 설계 요소가 조립 정밀도와 성공에 미치는 영향; 3) 설계 선택에 대한 절제 연구.

구현 세부사항

시뮬레이션. FurnitureBench 코드베이스를 확장하여 Isaac Gym을 사용하며, 가구 3D 모델은 3D Warehouse에서, 텍스처는 ambientCG에서 가져오고, 에셋은 Blender 5.0에서 후처리합니다.

훈련 및 추론. [32]에 기반한 VLA 백본을 사용하여 8개의 NVIDIA L40S GPU에서 글로벌 배치 크기 64로 40,000 스텝 동안 미세 조정합니다. 추론은 단일 L40S GPU에서 표준 추론 매개변수로 실행됩니다.

장기 조립 성능

설정. 가구당 500개의 데모를 생성하여 미세 조정하고, 각각 100회의 롤아웃을 평가하며, 모든 가구 유형에 대해 단일 VLA 모델을 훈련합니다.

평가 지표. 전체 조립 성공률(즉, 모든 하위 작업 완료)을 보고합니다. 이전 하위 작업이 실패하면 롤아웃이 종료되므로, 하위 작업별 성공률은 단조 감소합니다.

실제 실험

실제 양팔 Kinova Gen3 플랫폼에서 접근법을 검증하며, 가장 도전적인 IVAR 의자를 테스트합니다.

구현 세부사항

Quest2ROS를 사용하여 VR 컨트롤러 자세와 입력을 로봇 끝점 명령으로 매핑합니다. 데모 수집 중 원격 작업자의 시각적 정렬을 돕기 위해 부품에 컬러 마커(예: 검정색과 파란색 테이프)를 부착합니다. 수집된 원격 조작 데모에서 DROID를 따라 무효 동작을 필터링하지만, 각 비유휴 세그먼트의 초기 및 마지막 프레임은 자르지 않습니다. 이 프레임에는 하위 작업 완료를 나타내는 중요한 신호가 포함되어 있기 때문입니다.

부품별 조립 성능

설정 및 평가. 각 하위 작업을 독립적으로 평가합니다. 로봇과 장면을 해당 중간 조립 상태로 초기화하고 하위 작업당 15회의 롤아웃을 실행합니다.

결과. 부품별 성공률은 전체 조립 성공률보다 일관되게 높으며, 이는 실패가 단일 치명적 실패 모드보다는 하위 작업 간에 누적됨을 확인합니다. 하위 작업 5는 높은 정밀도 요구 사항 때문에 가장 도전적입니다.

결론 및 논의

본 연구에서는 VLA를 사용한 실제 규모의 양팔 가구 조립에 대한 첫 번째 체계적 연구인 FurnitureVLA를 소개합니다. 대규모 테스트베드 및 데이터 수집을 위한 확장 가능한 시뮬레이션 파이프라인과 VR 원격 조작 시스템을 구축하고, 장기 실행 성능 향상을 위한 진행 강화 VLA를 제안하며, 조립 정밀도를 위한 VLA 설계 요소에 대한 집중 연구를 수행합니다. 이 작업은 도전적인 실제 조작 작업에 VLA를 배포하기 위한 한 걸음으로 간주됩니다.

한계점. 고정 베이스 설정은 로봇의 운동학적 작업 공간 내의 가구로 조립이 제한됩니다. 이동식 양팔 플라스틱폼을 사용하면 더 큰 품목을 처리할 수 있습니다. 또한 자석을 사용하여 나사 조임을 우회했으며, 도구 사용으로의 확장은 훨씬 더 높은 정밀도가 필요한 미해결 과제입니다.

부록 개요

이 부록에는 다음이 포함됩니다: 1) 시뮬레이션 환경 구축에 대한 추가 세부사항, 2) 실제 시스템 세부사항, 3) 훈련 및 결과 분석에 대한 추가 실험 세부사항.

가구 모델

사용된 IKEA 가구는 온라인으로 구매할 수 있습니다. 3D 모델과 텍스처는 재현성을 위해 공개적으로 제공됩니다. 사용된 가구 품목은 다음과 같습니다: - LACK 사이드 테이블(일련번호: 30449908) - KALLAX 선반(일련번호: 90301555) - IVAR 의자(일련번호: 90263902)

부품 이름은 조립된 구성에서 기본 부품에 대한 공간적 위치를 기준으로 수동으로 정의됩니다. 시뮬레이션에서는 모든 부품에 실제 IKEA 구성 요소와 일치하는 소나무 밀도를 할당합니다.