정책 조종(policy steering)은 행동 샘플링 과정을 원하는 방향으로 유도하여, 새로운 작업에서 제너럴리스트의 합리적인 행동 사전을 활용할 수 있게 해준다. 조종을 통해 인간이나 대규모 비전-언어 모델(VLM) 같은 의미 추론자의 지식을 활용할 수 있다. 예를 들어, 정책이 주방 조리대 청소라는 새로운 작업을 학습할 때, "스펀지는 액체를 닦는 데 사용된다"는 지식이 정책이 스펀지를 집도록 유도할 수 있다.
우리는 흐름 역전 조종(FRS, Flow Reversal Steering)을 제안한다: 이 새로운 접근법은 대략적인 참조 행동을 흐름 정책을 역전하여 잡음(noise)으로 변환한다. 이를 다시 잡음 제거하면, 참조 행동과 대체로 일치하면서도 제너럴리스트에게 세밀하고 분포 내(in-distribution)인 행동이 생성된다. 로봇 행동의 대략적인 스케치(예: 목표 물체에 도달하기 위한 일반적인 방향)만 주어져도 FRS는 그 행동을 제너럴리스트의 사전에 투영하여 유사한 세밀한 행동을 생성할 수 있다.
이 메커니즘은 특히 VLM과 같은 의미 추론자에게 유용하다. 이들은 적절한 로봇 행동을 대략적으로 추론할 수 있지만, 정밀한 저수준 행동으로 구체화하지는 못한다. FRS는 로봇 행동 생성의 부담을 제너럴리스트에게 넘기고, 추론자는 광범위한 고수준 조종에 집중할 수 있게 한다. FRS는 대응하는 잡음 벡터도 제공하므로, 잡음-기반 정책(flow generalist의 입력 잡음 분포를 변경하여 조종하는 방식)과 잘 결합된다. 이를 통해 잡음 공간에서의 행동 복제(BC, Behavior Cloning)로 빠르고 효율적인 적응이 가능하며, 제너럴리스트 정책으로 탐색이 어려운 작업에서는 잡음 공간 강화학습(RL, Reinforcement Learning)을 부트스트랩할 수 있다.
실험 설정
우리는 세 가지 질문에 답하기 위해 FRS를 평가했다: FRS가 훈련 없이도 VLM이 제너럴리스트를 의미적으로 합리적인 행동으로 유도하여 성능을 향상시킬 수 있는가? FRS로 개선된 궤적을 사용하여 새로운 작업을 빠르게 학습할 수 있는가? FRS가 제너럴리스트가 경험으로부터 더 효율적으로 개선하도록 도울 수 있는가?
FRS가 까다로운 조작 작업에서 제로샷 성능 향상
먼저 FRS로 VLM의 의미적 지침을 정제하는 것이 제로샷 성능을 향상시킬 수 있는지 테스트했다. VLM의 행동을 직접 실행하는 것은 효과적이지 않다는 것을 발견했다. 이는 VLM이 제로샷으로 정밀한 저수준 행동을 출력하는 데 어려움을 겪는다는 직관을 뒷받침하며, FRS가 VLM의 행동을 단순히 재구성하는 것이 아니라, 더 나은(의미적으로 유사하지만 더 세밀한) 행동으로 유도한다는 것을 보여준다. 부분 잡음 추가(partial noising)와 샘플-및-순위(sample-and-rank) 방법은 FRS보다 성능이 낮았으며, 각각 4개와 3개의 어려운 작업에서만 성능을 향상시켰다. 이러한 기준선은 VLA가 이미 좋은 행동에 높은 확률을 부여할 때 잘 작동하지만, 성공이 드문 어려운 작업에서는 그렇지 않다. 반면 FRS는 이러한 경우에도 학습할 수 있다.
FRS가 행동 복제를 통한 확산 조종(DSBC)을 가능하게 함
우리는 FRS로 생성된 좋은 궤적이 전문가 잡음 행동을 제공하며, 이를 DSBC(Diffusion Steering via Behavior Cloning)를 통해 증류할 수 있음을 보였다. 온라인 DSBC에 초점을 맞추고 오프라인 DSBC의 LIBERO 결과는 부록에 제시했다.
기본 정책과 제로샷 VLM FRS 기준선 외에도, FRS 성공 궤적에 표준 BC(DSBC 잡음 정책과 동일한 소규모 아키텍처 사용)를 적용한 것과 비교했다. FRS의 성공적인 롤아웃은 전체 VLA로 증류될 수도 있지만, 이는 보조 정책을 훈련하는 것보다 훨씬 많은 계산이 필요하다.
DSBC는 샘플, 계산, 시간 측면에서 효율적이다. LIBERO에서는 작업당 평균 18개의 롤아웃만으로 훈련한다. 실제 로봇에서는 작업당 10개의 롤아웃만으로 높은 성능을 달성한다. 정책도 작아서, 총 훈련에 약 1GB의 GPU 메모리가 필요하다(VLA를 훈련 중에 로드할 필요가 없으므로). 반면 전체 VLA를 미세 조정하려면 수백 GB가 필요하다. 모델과 데이터 크기 덕분에 DSBC 정책은 1분 이내에 훈련된다.
FRS가 강화학습을 가속화하고 개선함
우리는 FRS가 RL과 함께 경험으로부터 학습하는 데 사용될 수 있음을 보여주고자 했다. 이를 통해 제로샷 FRS의 고정된 성능과 DSBC로 FRS 데이터를 증류하는 것 모두를 능가할 수 있다.
논의
우리는 흐름 역전 조종(FRS)을 도입했다. 이는 대략적인 의미적 지침을 정밀한 행동으로 변환하기 위해 흐름 제너럴리스트 정책을 역전하는 방법이다. 최신 VLA를 사용한 광범위한 시뮬레이션 및 실제 작업을 통해 FRS가 인간이나 VLM과 같은 추론자가 새로운 작업에서 합리적인 행동으로 정책을 유도할 수 있게 함을 보였다. 이를 통해 새로운 DSBC(Diffusion Steering via Behavior Cloning) 방법이나 DSRL(잡음 공간 강화학습) 부트스트래핑을 통한 빠른 정책 학습이 가능해진다. FRS가 보상 함수 최적화뿐만 아니라 작업 관련 의미적 지식에 의한 효율적인 제너럴리스트 정책 개선을 위한 대안적 패러다임을 제공하기를 바란다.
잡음 공간 통찰
흐름 역전을 실행할 때, 더 가능성 있는 잡음(즉, 0에 가까운 잡음)은 더 분포 내 행동으로 매핑되는 경향이 있다. 흐름 역전은 더 분포 내 행동(더 낮은 재구성 MSE)으로 재구성되는 잡음을 더 잘 찾는다. 흐름 역전의 적분 단계 수를 늘리면 재구성 정확도가 높아지지만(적분 오류 감소), 잡음 공간에서 더 분포 외(out-of-distribution)로 가는 비용이 든다.
FRS는 잡음 공간의 좋은 영역을 찾으며, 좋은 잡음 근처의 잡음도 좋은 행동으로 매핑된다. 행동 청크의 패딩 요소에 해당하는 잡음은 잡음 제거에 큰 영향을 미치지 않는 것으로 보인다. 흐름 역전을 적용할 때, 행동 청크는 시간적으로 상관된 잡음 청크로 매핑되는 경향이 있으며, 표준 정규 분포에서 샘플링된 경우보다 청크 축에서 분산이 더 낮다.
FRS 실행 시 고려사항
이 분석에서 도출된 주요 FRS 설계 세부 사항은 다음과 같다: 청크 축에서 잡음을 평균 내고 반복하는 FRS 실행은 성능에 영향을 미치지 않는다. 모든 잡음 정책은 이러한 청크 평균 잡음을 예측하도록 훈련되며, 이는 학습을 더 쉽게 만든다. 좋은 참조 행동 자체를 평균 내고 반복해도 좋은 잡음을 찾을 수 있으므로, 조종을 위한 방향성 행동 사용이 동기화된다. 참조 행동의 패딩 요소는 올바르게 설정되어야 한다. 흐름 역전으로 기본 잡음이 계산되면 패딩 잡음은 성능에 영향을 주지 않고 0으로 설정할 수 있다.
흐름 역전을 실행할 때, 재구성 충실도와 결과 잡음의 크기 사이에는 역상관 관계가 있다. 적분 단계 수를 늘리면 충실도가 높아지지만 잡음의 크기도 커진다(즉, 더 분포 외). 우리는 기본값으로 10단계를 선택하여 더 적은 단계를 사용하는 쪽을 선호한다. 이는 정책 추론을 더 빠르게 하고, 잡음 정책 학습을 더 쉽게 하기 위해 더 작은 잡음을 원하며, 특히 참조 행동이 대략적일 때 극도로 높은 행동 재구성 충실도가 항상 유리한 것은 아니기 때문이다.
인간 조종 인터페이스
인간 FRS 실험에서, 운영자는 키보드 입력을 통해 팔을 조종했다: 세 가지 병진 Cartesian 축(앞/뒤, 좌/우, 위/아래)을 위한 여섯 개의 키(W/A/S/D/Q/E), 그리퍼 상태를 변경하기 위한 키, 정책에 위임하기 위한 키. 회전은 키보드로 명령되지 않았다.
그리퍼 키는 열림, 닫힘, 잡음의 세 가지 상태를 순환한다. 열림/닫힘 모드에서는 그리퍼 차원이 명령된 값으로 구동되고 조종 중에 유지된다. 잡음 모드에서는 그리퍼가 정책에 맡겨진다: 청크의 그리퍼 요소는 현재 값으로 유지되고 해당 잡음 요소는 무작위화되어, 잡음 제거된 행동이 관찰에 따라 자유롭게 열리거나 닫힐 수 있다.
작은 참조를 역기구학을 통해 관절 행동으로 변환한 후, 정책 청크 길이(15, 예: 길이 5의 관절 각도 청크를 세 번 반복)에 도달할 때까지 반복한다. 이것이 흐름 역전을 통과하는 입력이다. 그런 다음 청크의 반복된 부분을 0 잡음으로 설정하여, 정책이 관찰에 기반해 잡음 제거할 수 있게 한다. 이는 잡음 공간에서의 확산 인페인팅(diffusion in-painting)과 유사하다. 즉, 조종된 행동이 참조 청크의 일부와 일치하도록 하고, 나머지는 정책이 합리적이라고 생각하는 대로 "채워지도록" 하는 것이다.
자주 묻는 질문
흐름 역전 조종이 다른 조종 방법과 다른 점은 무엇인가요? FRS는 대략적인 참조 행동을 흐름 정책을 역전하여 잡음 벡터로 매핑한 후 잡음 제거하여, 제너럴리스트의 사전과 일치하면서도 참조와 대체로 일치하는 세밀한 행동을 생성합니다.
DSBC가 효과적으로 훈련되려면 몇 번의 롤아웃이 필요한가요? LIBERO 실험에서 DSBC는 작업당 평균 18개의 롤아웃만으로 훈련되며, 실제 로봇에서는 작업당 10개의 롤아웃만으로 높은 성능을 달성합니다.
FRS는 인간 운영자가 의미 추론자로 작동할 때도 사용할 수 있나요? 네, 인간 운영자는 방향 명령을 위한 간단한 키보드 입력으로 로봇을 조종할 수 있으며, FRS는 이러한 대략적인 참조를 제너럴리스트 정책에 적합한 세밀한 행동으로 변환합니다.
DSBC 정책 훈련의 계산 비용은 얼마인가요? 훈련에는 약 1GB의 GPU 메모리가 필요하며(VLA를 훈련 중 로드할 필요가 없으므로), 전체 VLA를 미세 조정하려면 수백 GB가 필요합니다. DSBC 정책은 1분 이내에 훈련됩니다.