연구진은 운영자가 자연어를 사용하여 로봇의 자율 데이터 수집을 수정할 수 있는 인간-로봇 시스템을 구축했습니다. 원격 조작 시간을 줄이면서도 사람이 직접 시연한 데이터만큼 우수한 훈련 데이터를 생성합니다. 이 연구는 고품질 로봇 데이터에 지속적인 인간의 주의가 필요하다는 가정에 도전하며, 확장 가능한 언어 기반 훈련 파이프라인을 제시합니다.
목차
연구진이 구축한 것
PhysClaw-0은 최소한의 인간 노력으로 로봇 조작 데이터를 수집하는 완전한 시스템입니다. OpenClaw 플랫폼을 기반으로 하지만 '검증 게이트 자율 루프'를 추가했습니다. 로봇이 객체를 잡고, 옮기고, 장면을 재설정하는 등 작업을 자율적으로 수행하는 동안 비전-언어 모델(VLM)이 각 단계의 성공 여부를 확인합니다. 로봇이 재시도할 수 없는 실패를 만나면 멈추고 운영자의 짧은 문장을 기다립니다.
이 언어 개입은 완전한 원격 조작의 필요성을 대체합니다. 운영자는 모든 관절을 움직이지 않고 로봇에 무엇이 잘못되었는지 간단히 말합니다(파란 머그잔 건너뛰기, 위에서 잡기 시도). 대규모 언어 모델이 수정 사항을 분석하고, 지속적인 메모리에 저장하며, 로봇이 자율적으로 재개합니다. 동일한 채널을 통해 운영자는 VLM의 성공 기준을 업데이트하여 시스템 자체 판단이 시간이 지남에 따라 개선되도록 할 수도 있습니다.
수집된 모든 에피소드는 실행 및 결과 태그로 자동 레이블링되고, 하드웨어 오류가 필터링되며, 정책 미세 조정에 사용할 데이터셋으로 통합됩니다. 연구진은 전체 파이프라인이 '플라이휠'로 작동하도록 설계했습니다. 한 세션에서 훈련된 정책이 다음 세션의 수집기가 되어 각 주기마다 인간의 개입을 더욱 줄입니다.
핵심 결과
PhysClaw-0은 로봇이 대상 객체를 집어 바구니에 넣은 후 재설정해야 하는 실제 책상 정리 작업에서 평가되었습니다. 실험은 세 가지 수집 방법(완전 인간 원격 조작, 언어 피드백 없는 자율 수집, 언어 안내 수정이 있는 PhysClaw-0)을 비교합니다.
- 인간 시간 절약: PhysClaw-0은 완전 원격 조작과 동등한 에피소드 수집 성공률을 달성하면서도 인간 작업 시간을 크게 줄였습니다. 운영자는 모든 동작을 제어할 필요 없이 실패당 몇 문장만 전송하면 됩니다.
- 검증 정확도 향상: 언어 채널을 통해 운영자는 VLM의 판단 기준과 로봇의 실행 전략을 모두 수정할 수 있습니다. 수정 후 테스트 사례에서 검증기의 정확도가 향상되었고, 8개 객체 범주 모두에서 단일 시도 수집 성공률이 증가했습니다.
- 정책 품질: PhysClaw-0 데이터로 미세 조정된 정책은 수동으로 수집된 데이터셋으로 훈련된 정책과 비슷한 성공률을 달성했습니다. 정책당 20회의 블라인드 배포 시험에서 차이는 미미하여, 자율적으로 수집된 시연이 수동 시연만큼 유용할 수 있음을 보여줍니다.
작동 방식
시스템은 계획, 실행, 검증, 경고의 네 가지 주요 상태를 가진 상태 머신으로 작동합니다. 운영자가 초기 작업 지시를 내립니다(예: '테이블 정리'). 대규모 언어 모델로 구동되는 에이전트는 장면을 분석하고, 레지스트리에서 도구를 선택하며, 수집 계획(어떤 객체를 어떤 순서로 잡고 재설정할지)을 생성합니다. 운영자가 계획을 검토하고 승인합니다.
실행 단계에서 로봇은 고정된 동작 단계(홈, 사전 잡기, 접근, 닫기, 들어올리기, 운반, 내리기, 놓기, 후퇴, 복귀)를 실행합니다. 잡기 자세는 헤드 마운트 카메라의 깊이 데이터를 사용하여 계산됩니다. 관절 명령은 30Hz로 실행되며 도달 검증이 수행됩니다.
검증 단계에서 VLM은 작업 기준이 충족되었는지 확인합니다(예: '대상 객체가 바구니 안에 있습니까?'). 충족되면 에피소드가 저장됩니다. 그렇지 않으면 로봇이 예산 내에서 재시도합니다. 재시도를 소진하면 시스템이 경고 상태로 전환됩니다.
운영자는 OpenClaw 채널을 통해 자유 형식의 자연어 문장을 보냅니다. LLM 파서는 현재 상태와 지속적인 메모리를 사용하여 수정 사항을 해석합니다. 예를 들어, 수정 내용은 '파란 객체는 집지 말고 건너뛰어야 합니다'와 같을 수 있습니다. 파서는 이 규칙을 수정 메모리에 추가할지 결정하며, 이 메모리는 향후 에피소드에 적용됩니다. 동일한 파서는 VLM 검증 프롬프트 업데이트도 처리하므로 기준 자체를 수정할 수 있습니다.
데이터 큐레이션은 자동으로 이루어집니다. 각 에피소드는 타임스탬프가 찍히고, 실행 성공 및 결과(성공/실패/알 수 없음)로 레이블링되며, 하드웨어 오류(연결 끊김, 모델 호출 시간 초과)가 필터링됩니다. 품질 보고서는 동작 통계(평균, 분산, 부드러움)와 이미지 품질 지표를 계산합니다. 미세 조정을 위해 스크립트 수준 완료 및 시각적 판단 통과 세션만 훈련 에피소드로 통합됩니다. 연구진은 이 데이터셋으로 π0 정책(비전-언어-동작 모델)을 미세 조정합니다.
로봇 공학에 중요한 이유
로봇 학습의 가장 큰 병목 현상은 데이터 수집입니다. 모든 궤적에 인간의 원격 조작이 필요하여 규모 확장이 제한됩니다. PhysClaw-0은 인간이 조이스틱 대신 언어로 감독할 수 있는 실용적인 솔루션을 제시합니다. 이는 창고 로봇이나 새로운 집기 및 놓기 작업을 빠르게 학습해야 하는 중고 협동로봇을 구축하는 모든 사람에게 직접적인 영향을 미칩니다.
또한 이 시스템은 데이터 플라이휠을 닫는 경로를 보여줍니다. 정책 개선이 더 능숙한 자율 수집으로 이어져 더 나은 훈련 데이터를 생성합니다. 운영자는 '설정하고 수정하는' 워크플로우를 얻으며, 모든 동작을 직접 제어할 필요가 없습니다. 산업용 사용자의 경우 새로운 로봇 워크플로우 배포 비용을 크게 줄일 수 있습니다.
수정 사항에 지속적인 메모리를 사용하면 운영 지식이 자연어로 축적되어 하이퍼파라미터 스윕이나 코드 변경에 묻히지 않습니다. 이는 시스템을 유지보수 및 감사 가능하게 만들어 규제 환경에서 실용적인 이점을 제공합니다.
한계점 및 미해결 질문
현재 시스템은 비교적 단순한 집기 및 놓기 작업으로 제한됩니다. 조립이나 케이블 연결과 같은 복잡한 손재주 작업은 도구 및 카메라 정밀도 제약으로 아직 지원되지 않습니다. 다중 라운드 데이터 플라이휠(한 세션의 정책이 다음 세션의 수집기가 되는)은 설계되었지만 이 연구에서 완전히 검증되지는 않았습니다. 단일 완전 주기만 테스트되었습니다.
VLM 검증기는 여전히 모호한 장면에서 혼란을 겪을 수 있으며, 언어 수정 후에도 일부 객체별 실패가 지속됩니다. 운영자는 소프트웨어 기반 장면 재설정이 실패할 때 물리적 재설정을 위해 가끔 개입해야 합니다. 향후 연구는 더 넓은 작업 범위, 더 많은 로봇 형태, 자동화된 적용 범위 기반 재수집을 탐구해야 합니다.
자주 묻는 질문
PhysClaw-0은 완전 원격 조작에 비해 인간의 노력을 어떻게 줄이나요? 모든 동작을 제어하는 대신 운영자는 로봇이 막혔을 때만 문장을 보냅니다. 일반적으로 세션당 수백 번의 조이스틱 움직임 대신 몇 번만 전송하면 됩니다.
시스템이 자체 검증 기준을 수정할 수 있나요? 네. 운영자는 VLM의 판단 프롬프트를 업데이트할 수 있습니다(예: '초록색 컵 무시'). 수정 사항은 메모리에 저장되고 이전에 수집된 에피소드에 소급 적용됩니다.
데이터 품질이 수동 원격 조작 데이터만큼 좋은가요? 네. PhysClaw-0 데이터로 미세 조정된 정책은 블라인드 배포 시험에서 완전 원격 조작 데이터로 훈련된 정책과 비슷한 성공률을 달성했습니다.
PhysClaw-0을 실행하려면 어떤 하드웨어가 필요한가요? 시스템은 RGB-D 카메라가 있는 양팔 로봇인 OpenClaw를 기반으로 합니다. ROS 호환 카메라 드라이버와 VLM 및 정책 추론을 실행할 GPU가 필요합니다.
결론
PhysClaw-0은 언어 안내 자율성이 완전 원격 조작의 데이터 품질과 일치하면서도 인간 시간을 훨씬 덜 요구할 수 있음을 보여줍니다. 지속적인 제어를 로봇에 위임하고 인간은 높은 수준의 수정에만 개입함으로써 확장 가능한 로봇 학습 파이프라인을 제시합니다. 향후 작업은 더 많은 작업과 로봇 형태로 확장될 것입니다.
언어로 수정되는 로봇이 가장 먼저 배우도록 신뢰할 실제 작업은 무엇인가요? 창고 분류인가요, 아니면 집 정리인가요?
참고 문헌
- arXiv:2607.14047v1