사람의 의도만으로는 로봇 동작을 충분히 구체적으로 지정하기 어려운 경우가 많습니다. RoboPrompt는 희소한 사람의 안내를 행동 초안으로 변환하고, 후속 정책이 해당 작업에 특화된 사전 정보를 활용해 초안을 다듬도록 합니다. 이를 두 단계로 수행합니다. 1단계에서는 경량 조향 모델이 점, 궤적, 대략적인 방향 지시를 연속적인 행동 초안으로 변환합니다. 2단계에서는 후속 정책의 노이즈 제거 과정을 거쳐 초안을 다듬으며, 정책 미세 조정이나 아키텍처 변경 없이 사람의 의도와 정책 사전 정보 간 균형을 맞춥니다.
시스템 아키텍처
이 시스템은 경량 조향 모델을 사용해 사람의 입력을 연속적인 행동 초안으로 변환한 다음, 후속 정책의 노이즈 제거 과정을 통해 초안을 다듬습니다.
RoboPrompt는 정책을 서로 다른 작업 목표로 조향할 수 있을까요?
조향 실험에는 Diffusion Policy (DP), 명시되지 않은 정책, FastWAM이 사용됩니다. 각 정책은 세 가지 서로 다른 작업 목표를 포함하는 데이터로 학습되어 다중 모드 정책 분포를 형성합니다. RoboPrompt는 추론 시점에 원하는 작업 목표를 지정합니다.
조향을 적용하지 않으면 학습된 다중 모드 정책은 유효한 세 작업 목표에 대해 서로 다른 선호를 보입니다. 추론 중 일부 시행은 어떤 목표에도 도달하기 전에 실패하며, 이러한 실패는 작업 선호도 분포에서 제외되므로 각 정책의 비율을 합해도 100퍼센트가 되지 않습니다.
RoboPrompt는 DAgger를 통한 정책 개선에 도움이 될까요?
여러 작업에서 개선 효과가 뚜렷하게 나타납니다. DAgger를 한 차례 진행할 때마다 작업 성공률이 높아지고 다음 차례에 필요한 조향 개입 횟수는 줄어듭니다. 이는 초기 성능이 보통 수준이고 사람의 개입이 잦은 정책도 DAgger를 몇 차례만 반복하면 점차 완전 자율 실행에 가까워질 수 있음을 보여줍니다.
DP와 FastWAM도 빵 작업에서 동일한 DAgger 프로토콜로 평가했으며, 같은 경향이 나타났습니다. DAgger를 추가로 진행할수록 작업 진행도가 향상되고 배포 중 필요한 조향 횟수는 감소합니다. 종합하면, RoboPrompt는 DAgger의 정책 개선 능력을 유지하면서도 사용자가 희소하고 직관적인 안내로 정책 동작을 더 쉽게 교정하도록 돕습니다.
노이즈 제거 동역학은 RoboPrompt의 조향에 어떤 영향을 미칠까요?
플로우 매칭 기반 정책과 디퓨전 기반 정책 모두에서 동작 변화는 노이즈 제거 단계마다 균일하게 분포하지 않습니다. 적은 수의 단계만으로도 동작이 크게 달라질 수 있지만, 노이즈 제거 수준이 높은 마지막 단계에서는 수렴에 가까워져 변화가 미미합니다. 따라서 노이즈 제거 수준을 단순히 높이는 것만으로는 1단계의 동작과 기본 정책 출력 사이를 선형적으로 조절할 수 없습니다.
NA-FRS는 정교화 전에 1단계 동작에서 정책 동역학을 역방향으로 적용한 다음, 제어된 무작위 노이즈를 주입해 이러한 동작을 바꿉니다. 역방향 요소는 정교화된 동작이 1단계 초안에 가깝게 유지되도록 하고, 노이즈 요소는 노이즈 제거 수준이 높아질수록 궤적이 순수 노이즈 제거의 동작을 회복하게 합니다. 두 요소를 결합하면 노이즈 제거 수준에 따라 동작이 더 부드럽고 거의 선형적으로 전환됩니다.
처음 사용하는 사람도 로봇 정책을 직관적으로 조향할 수 있을까요?
처음 사용하는 사람의 편의성을 평가하기 위해 시스템 사용 경험이 없는 자원봉사자 6명을 모집했습니다. 5분간 간단한 소개를 받은 후, 각 참가자는 명시되지 않은 Round-0 토스터 정책을 사용해 빵 넣기 작업을 5회 수행했습니다. 참가자들의 평균 작업 진행도와 조향 횟수를 숙련 사용자와 비교했습니다.
처음 사용한 사람들은 숙련 사용자와 비슷한 작업 진행도를 달성했으며, 조향하지 않은 기준선보다 훨씬 높은 성과를 보였습니다. 이는 RoboPrompt를 통해 신규 사용자도 로봇 정책을 직관적으로 조향할 수 있음을 시사합니다. 숙련 사용자는 개입 횟수가 더 적었습니다. 정책에 익숙해 실패를 복구하기보다 미리 예측하고 방지할 수 있었기 때문입니다.
롤아웃 데이터 품질은 정책 개선에 어떤 영향을 미칠까요?
DAgger 학습은 무작위로 선택한 성공 궤적 20개(필터링하지 않음) 또는 Time-weighted Optimal Transport (TOT; 필터링함)를 사용해 선택한 성공 궤적 20개로 비교했습니다. 두 설정 모두 학습 라운드 한 번을 사용하고 세 가지 작업에서 평가했습니다.
TOT로 필터링한 데이터는 세 작업 모두에서 더 높은 작업 진행도를 보입니다. 필터링하지 않은 데이터는 동작의 흔들림을 키워 실패나 추가 개입을 유발할 수 있습니다. 따라서 실행에 성공했다는 사실만으로 학습 데이터의 품질이 보장되지는 않습니다. TOT는 사람의 의도와 일치하는 더 부드러운 궤적을 유지해 정책 성능을 높이고 조향 횟수를 줄입니다.
결론 및 한계
RoboPrompt는 희소하고 직관적인 사람의 입력으로 로봇 정책을 조향하는 시스템입니다. 디퓨전과 플로우 매칭의 특성을 활용해 비전문가도 정책 동작을 직관적으로 안내할 수 있으며, 조향된 롤아웃에서 수집한 데이터로 정책 성능을 반복적으로 개선할 수 있습니다.
조향 방식은 엔드 이펙터 자세를 효과적으로 안내하지만, 특히 여러 손가락이 있는 손과 같은 정교한 엔드 이펙터의 제어는 아직 지원하지 않습니다. 1단계 조향 모듈은 특정 로봇 구현이나 환경에 한정되지 않습니다. 향후에는 더 크고 다양한 데이터셋으로 학습해 더 폭넓은 작업에서 제로샷 조향을 가능하게 하는 방안을 연구할 수 있습니다.
자주 묻는 질문
RoboPrompt는 희소한 입력을 어떻게 로봇 동작으로 변환하나요? 경량 조향 모델이 점, 궤적, 대략적인 방향 지시를 행동 초안으로 변환합니다. 이후 후속 정책이 노이즈 제거 과정을 통해 초안을 다듬습니다.
RoboPrompt는 정책을 선택한 작업 목표로 안내할 수 있나요? 네. 세 가지 서로 다른 목표를 포함하는 데이터로 학습된 정책에 대해 추론 시점에 원하는 목표를 지정합니다.
DAgger는 사람의 조향 필요성에 어떤 영향을 미치나요? 보고된 실험에서는 DAgger를 추가로 진행할수록 작업 성공률이나 진행도가 향상되고 이후 배포에서 필요한 조향은 줄어듭니다.
논문에서 밝힌 한계는 무엇인가요? 이 방법은 엔드 이펙터 자세를 안내하지만, 특히 여러 손가락이 있는 손과 같은 정교한 엔드 이펙터는 아직 지원하지 않습니다.