VERITAS라는 새로운 프레임워크는 범용 로봇 정책과 그래디언트 없는 시각 검증기를 결합하여 추론 중에 행동을 평가함으로써, 로봇이 자신의 행동을 조정하고 인간의 피드백 없이 자체 롤아웃을 통해 개선할 수 있게 합니다.
목차
연구진이 만든 것
연구진은 범용 로봇 정책을 위한 생성기-검증기 프레임워크인 VERITAS를 개발했습니다. 이 프레임워크는 추론 시간 행동 조정과 자율적인 정책 개선이라는 두 가지 기능을 가능하게 합니다. 시스템은 사전 훈련된 모든 범용 로봇 정책("생성기")을 별도의 "시각 검증기"(visual verifier)와 연결합니다. 이 검증기는 시각 입력만을 사용하여 제안된 행동의 정확성을 평가하는 모델입니다. 검증기는 그래디언트 계산 없이 작동하므로 가볍고 기존 정책과 호환됩니다.
추론 시에 검증기는 생성기로부터 여러 행동 후보를 평가하고 최적의 것을 선택하여, 로봇이 미세 조정 없이도 최적이 아닌 움직임을 피할 수 있게 합니다. 동일한 검증된 롤아웃은 이후 오프라인 학습을 통해 생성기 자체를 개선하기 위한 훈련 데이터로 사용됩니다. 이로 인해 로봇이 행동하고, 행동을 검증하고, 좋은 행동에서 학습하고, 다음 시도에서 개선하는 자기유지 사이클이 생성됩니다.
이 프레임워크는 인간의 감독 없이 적응해야 하는 실제 환경 배치를 위해 설계되었습니다. 시각적 피드백에만 의존함으로써 VERITAS는 인간이 레이블링한 보상, 선호도 주석 또는 온라인 환경 재설정의 필요성을 제거합니다.
핵심 결과
VERITAS는 여러 조작 작업에서 검증이나 조정 없이 사용된 기본 범용 정책보다 일관되게 우수한 성능을 보였습니다. 개선은 추가 훈련이나 데이터 수집 없이 추론 시간 검증만으로 이루어졌습니다.
연구진이 자체 검증된 롤아웃을 사용하여 생성기 정책을 미세 조정했을 때, 성능 향상이 유지되었고 심지어 증폭되었습니다. 결정적으로, 자체 생성된 검증 궤적으로 미세 조정된 모델은 전문가 시연으로 훈련된 모델과 비슷한 효율성 수준에 도달했지만, 인간의 개입이나 시연이 전혀 필요하지 않았습니다.
결과는 추론 시간 검증이 일회성 수정이 아니라 배포 중 지속적인 개선을 위한 확장 가능한 메커니즘임을 보여줍니다. 이 프레임워크는 반복적인 자체 훈련 주기에서 정책 성능을 저하시키지 않으며, 이는 안정적인 자기 개선을 나타냅니다.
작동 방식
VERITAS는 두 단계로 작동합니다: 추론 시간 조정과 오프라인 정책 개선.
추론 시간 조정: 각 시간 단계에서 생성기 정책은 여러 행동 후보를 생성합니다(예: 샘플링 또는 확률적 순방향 패스를 통해). 시각 검증기는 현재 관찰과 각 후보 행동을 입력으로 받아 해당 행동이 성공할 가능성을 나타내는 점수를 출력합니다. 로봇은 가장 높은 점수의 행동을 실행합니다. 검증기는 그래디언트 없는 모델로, 역전파가 필요하지 않으므로 빠르게 실행되며 모든 생성기와 함께 사용할 수 있습니다.
오프라인 정책 개선: 배포 세션 후 로봇은 관찰과 실제로 취한 검증된 행동의 데이터셋을 보유합니다. 이러한 "검증된 롤아웃"은 생성기의 오프라인 미세 조정을 위한 긍정적 예시 역할을 합니다. 정책은 표준 행동 복제 또는 오프라인 강화 학습을 사용하여 업데이트되지만, 데이터는 자체 생성되고 자체 검증됩니다. 인간 레이블, 수작업 보상 함수, 환경 재설정이 필요하지 않습니다.
시각 검증기 자체는 소량의 시연 데이터(예: 이미지의 성공/실패 레이블)로 한 번 훈련됩니다. 그 후에는 재훈련 없이 새로운 작업과 장면에 일반화됩니다. 고유 감각 신호 대신 시각적 특징을 사용하기 때문에 로봇이 다른 물체나 표면과 상호작용할 때도 작동합니다.
전체 파이프라인은 모듈식으로 설계되었습니다. 생성기와 검증기는 독립적으로 교체할 수 있으며, 검증 단계는 지연 시간을 최소화합니다(행동당 수 밀리초 정도).
로봇 공학에서의 중요성
실제 환경에 범용 로봇 정책을 배포하는 가장 큰 장벽은 소위 "시뮬레이션-실제 격차"와 배포 후 적응 불가능입니다. VERITAS는 값비싼 인간 피드백이나 수동 데이터 수집 없이 이 두 가지를 모두 해결합니다.
창고 로봇 또는 중고 산업용 로봇 플릿을 운영하는 운영 관리자와 엔지니어에게 이는 로봇이 설치 후 특정 작업(새 물체 집기, 복잡한 영역 탐색, 조명이나 설정 변화 적응 등)에서 성능을 점진적으로 향상시킬 수 있으며, 로봇 공학 팀을 호출할 필요가 없음을 의미합니다.
휴머노이드 로봇 또는 범용 도우미를 개발하는 개발자에게 이 프레임워크는 지속적인 학습을 위한 실용적인 경로를 제공합니다: 로봇이 시도하고, 검증하고, 개선하도록 하는 것입니다. 고품질 전문가 시연의 필요성을 줄이고 자기 지도 개선을 현실로 만듭니다.
VERITAS는 더 많은 데이터를 수집하는 것보다 로봇 자체가 생성하는 데이터를 더 잘 활용하는 데 초점을 전환합니다. 이는 실제 로봇 공학을 위한 더 확장 가능하고 비용 효율적인 접근 방식입니다.
한계와 미해결 질문
시각 검증기의 성능은 훈련 데이터의 품질과 다양성에 따라 달라집니다. 검증기가 특정 실패 모드를 보지 못했다면 행동을 잘못 평가할 수 있습니다. 이는 안전하지 않은 움직임에 대한 과신이나 유용한 탐색적 행동의 거부로 이어질 수 있습니다.
또한 이 프레임워크는 생성기가 다양한 행동 후보를 생성할 수 있다고 가정합니다. 정책이 단일 모드로 수렴하는 경우(예: 결정론적 추론으로 인해) 조정이 효과가 없습니다. 향후 연구는 강건한 후보 생성을 보장해야 합니다.
또한 오프라인 미세 조정 단계는 현재 배포 후 배치로 수행됩니다. 단일 에피소드 중 실시간 또는 지속적 학습은 아직 지원되지 않습니다. 마지막으로, 이 논문은 안전 보장을 다루지 않습니다. 검증기가 자체 훈련 중에 실패 패턴을 지속적으로 놓칠 때 어떤 일이 발생하는지는 여전히 미해결 질문입니다.
자주 묻는 질문
VERITAS에 인간이 레이블링한 데이터가 전혀 필요하지 않나요? 네, 시각 검증기를 한 번 훈련하기 위해 이미지에 대한 소량의 성공/실패 레이블이 필요하지만 이는 일회성 비용입니다. 생성기 정책 자체는 초기 훈련 후에는 인간 시연이 다시 필요하지 않습니다.
기존 로봇 정책과 VERITAS를 함께 사용할 수 있나요? 정책이 시간 단계당 여러 행동 후보를 생성할 수 있고 카메라에 접근할 수 있다면 VERITAS에 연결할 수 있습니다. 검증기는 모델에 구애받지 않고 그래디언트가 없습니다.
VERITAS는 어떤 유형의 로봇에서 작동하나요? 이 프레임워크는 조작 암에서 시연되었지만, 시각적 관찰을 사용하고 연속적 또는 이산적 행동 공간을 가진 모든 로봇(이동 매니퓰레이터와 보행 로봇 포함)에 일반화됩니다.
추론 시간 검증이 로봇을 얼마나 느리게 하나요? 검증기는 행동당 수 밀리초만 추가하므로 대부분의 실시간 제어 루프에서 무시할 수 있습니다. 주요 비용은 정책에서 여러 행동 후보를 생성하는 것이며, 이는 병렬화할 수 있습니다.
결론
VERITAS는 경량 시각 검증기를 사용하여 범용 로봇 정책이 추론 시간에 성능을 개선하고, 인간의 도움 없이 자체 검증된 경험에서 학습할 수 있는 실용적인 방법을 소개합니다. 이 프레임워크는 자체 생성된 데이터로 전문가 수준의 효율성을 달성하여, 자기 개선 로봇을 배포 가능한 현실적 목표로 만듭니다.