전통적으로 인간의 선호도로부터 로봇 정책을 학습할 때 주석 작업자는 두 궤적을 비교하여 단일 이진 점수만 제공해야 했으며, 복잡한 판단을 하나의 숫자로 압축했습니다. 자유 형식 선호 학습(FPL)은 대신 주석 작업자가 속도, 안전성, 작업 완료 등 자신이 중요하게 생각하는 차원을 자연어로 설명하고 각 축에 대해 별도의 선호도를 제공하도록 하여 인간 피드백의 풍부함을 보존합니다.
서론
이러한 판단 축을 보존하기 위한 핵심 통찰은 주석 작업자가 자신이 선택한 작업 관련 축에 대해 선호도 레이블을 제공할 수 있도록 하는 것입니다. 이 다차원적 감독은 이후 이러한 차원의 조합에 대해 최적화된 정책을 학습하는 데 사용될 수 있습니다. FPL은 주석 작업자가 자연어로 관련 판단 차원을 지정하고 각 축에 대해 이진 선호도를 제공하도록 요청합니다. 축은 사전에 정의되거나 주석 과정 중에 정의될 수 있습니다. 축의 자연어 설명에 조건화되었을 때 스칼라 보상 점수를 생성하는 다축 보상 함수가 학습됩니다. 마지막으로, 보상 훈련 중에 설명된 축의 조합을 최적화하도록 프롬프트 가능한 정책이 훈련됩니다. 이 프레임워크는 모호하지 않은 감독을 제공하는 용이성과 다운스트림 정책 최적화를 위한 감독 밀도를 동시에 향상시킵니다.
자유 형식 선호도로부터 학습
FPL의 핵심 아이디어는 전통적인 이진 선호도 대신 자연어와 개방형 피드백으로부터 학습하는 것입니다. 주석 작업자에게 두 궤적 간의 전반적인 선호도를 하나만 묻는 대신, 속도, 안전성, 부드러움, 하위 작업 완료 등 비교할 축을 설명하도록 요청합니다. 이는 더 세분화되고 덜 모호한 피드백을 생성합니다. 이러한 자유 형식 선호도는 지정된 각 축을 따라 궤적을 평가하는 언어 조건부 다차원 보상 함수를 학습하는 데 사용됩니다. 그런 다음 여러 선호도 차원에 조건화된 정책이 각 축에 대해 동작을 최적화하도록 훈련됩니다.
분석 및 실험 평가
실험 섹션은 다음 질문에 답변하도록 설계되었습니다: (a) FPL이 자유 형식 인간 선호도를 통해 효과적인 정책을 학습하는가? (b) FPL을 통해 학습된 정책이 데이터에서 보지 못한 동작의 조합성을 보여주는가? (c) FPL이 테스트 시점에 보상의 조종 가능성을 보여주는가? (d) FPL이 장기 과제에 대해 더 조밀한 보상 함수를 학습하는가?
실험 설정
위 질문에 경험적으로 답변하기 위해 네 가지 실제 조작 작업과 두 가지 시뮬레이션 작업이 고려되었습니다. 모든 작업은 다양한 품질과 전략을 가진 오프라인 시연에서 시작됩니다. 평균 및 표준 오차가 보고되며, 실제 방법당 20회 롤아웃, 시뮬레이션에서 세 가지 시드를 사용합니다.
정성적 분석
자유 형식 선호도 축은 반복 과정에 따라 자연스럽게 변화합니다. 각 반복에서 정책 성능이 향상됨에 따라 주석 작업자는 거친 피드백에서 더 구체적이고 완벽주의적인 피드백으로 변경됩니다. 반바지 접기 작업의 초기 반복에서는 주석 작업자가 각 접기가 전혀 이루어지는지에 초점을 맞추지만, 접기가 안정화된 후에는 주름 여부와 최종 정렬을 완성합니다.
자유 형식 선호도는 레이블당 주석 시간을 줄입니다. 자유 형식 선호도를 수집하는 것은 단일 이진 선호도를 수집하는 것보다 레이블당 약 50% 빠릅니다. 주석 작업자가 각 궤적 쌍에 대해 여러 축별 판단을 제공하기 때문에 비디오를 시청하는 비용이 여러 레이블에 분산되어 주석 오버헤드가 줄어듭니다.
한계 및 결론
FPL은 자유 형식 인간 선호도로부터 로봇 정책을 학습하는 방법을 소개합니다. 자연어 축으로 선호도를 수집함으로써 FPL은 단일 이진 선호도보다 더 조밀하고 덜 모호한 감독을 제공합니다. 네 가지 실제 작업과 두 가지 시뮬레이션 설정에서 FPL은 기준선을 능가합니다. 인간 피드백의 다차원 구조를 보존함으로써 동작의 조합성, 테스트 시점의 학습된 정책 조종 가능성, 그리고 질적으로 더 나은 신용 할당을 가진 보상 모델 학습이 가능해집니다.
몇 가지 한계가 남아 있습니다. 선호 학습은 인간 선호도를 수집해야 하며, 이는 완전 비지도 접근법보다 비용이 더 많이 듭니다. 보상 조건부 정책 학습은 테스트 시점에 적절한 보상 값을 선택해야 합니다. 이 선택을 자동화하는 것은 미래 작업의 중요한 방향입니다. 현재 정책은 고정된 선호도 축 세트에 조건화되어 있으며, VLA가 더 강력해짐에 따라 이 방법을 가변 축으로 확장하는 것은 유망한 방향입니다.
실제 작업
네 가지 실제 작업 모두 Franka 로봇에서 DROID 설정을 사용하며, 두 개의 카메라 뷰(손목 및 3인칭)를 관찰로, 관절 속도 제어를 사용합니다. 각 작업은 다양한 품질과 전략의 오프라인 시연으로 시작됩니다.
로봇은 토스트 조각을 접시에 담는 작업을 수행하며, 주걱으로 퍼 담거나 그리퍼로 직접 집어 접시에 놓습니다. 토스트의 초기 위치와 방향, 주걱의 위치는 에피소드마다 다릅니다. 구조화된 작업과 달리 선호도 축은 사전에 고정되지 않았습니다. 대신 주석 작업자는 자신에게 가장 관련 있는 차원을 자유롭게 지정했습니다. 수집된 축에는 속도, 동작의 부드러움, 청결함, 플레이팅 품질, 로봇이 토스트를 손상시켰는지 여부가 포함됩니다.
시뮬레이션 작업
두 가지 시뮬레이션 작업과 하나의 추가 변형이 제안되며, 이는 robomimic 원본 작업의 확장입니다. 한 작업에서는 빵과 캔 두 물체가 장면에 있습니다. 목표는 올바른 순서(먼저 빵, 그다음 캔)로 올바른 상자에 넣고 떨어뜨리지 않는 것입니다. 오프라인 데이터셋에는 잘못된 순서로 넣거나 물체를 떨어뜨리는 동작과 완벽한 시연이 혼합되어 있습니다.
선호도 수집
선호도는 사용자 정의 웹 인터페이스를 통해 수집되며, 주석 작업자에게 두 개의 나란히 있는 로봇 롤아웃 비디오 녹화가 제시되고 각 축을 따라 어떤 롤아웃이 선호되는지 또는 동등한지 표시하도록 요청합니다. 일부 작업(Setup Table, Fold Shorts, Place Cube into Bowl)의 경우 축이 사전 정의되고 작업에 따라 다릅니다. Plate Toast 작업과 같은 다른 작업의 경우 주석 작업자는 선호도를 제공하기 전에 자유 형식 텍스트로 자신의 선호도 축을 추가로 지정합니다. 자유 형식 선호도를 수집하는 것은 레이블당 소요 시간 측면에서 단일 선호도를 수집하는 것보다 시간이 적게 듭니다. 주석 작업자는 하나의 궤적 쌍 비디오를 시청할 때 하나의 레이블 대신 여러 레이블을 제공할 수 있는 반면, 단일 선호도의 경우 하나의 레이블만 제공할 수 있습니다. 관찰된 속도 향상은 자유 형식 선호도를 제공하는 것이 단일 선호도보다 약 1.85배 빠릅니다.
구현 세부 사항
보상 모델 학습을 위해 주석 작업자는 두 궤적이 특정 축에서 동등하다고 지정할 수 있으며, 이 경우 레이블은 삭제됩니다.
컴퓨팅 세부 사항
사용된 컴퓨팅 리소스는 정책의 전체 미세 조정 및 보상 모델 미세 조정을 위한 H100 GPU 하나였습니다. 시뮬레이션 실험의 경우 일반적으로 NVIDIA RTX 4500과 같은 더 작은 GPU가 사용되었습니다.
자주 묻는 질문
자유 형식 선호 학습이 표준 선호 학습과 다른 점은 무엇인가요? 모든 판단을 단일 이진 점수로 압축하는 대신, FPL은 주석 작업자가 자연어로 판단 축을 지정하고 각 축에 대해 별도의 선호도를 제공하도록 하여 더 조밀하고 덜 모호한 감독을 제공합니다.
FPL은 장기 과제에 효과적인가요? 네, FPL은 장기 과제에 대해 더 조밀한 보상 함수를 학습합니다. 주석 작업자가 전반적인 비교만 하는 대신 특정 축(예: 하위 작업 완료)을 따라 신용을 할당할 수 있기 때문입니다.
자유 형식 선호도 주석은 얼마나 더 빠른가요? 자유 형식 선호도를 수집하는 것은 단일 이진 선호도를 수집하는 것보다 레이블당 약 1.85배 빠릅니다. 시청 비용이 여러 축별 판단에 분산되기 때문입니다.
학습된 정책이 테스트 시점에 다른 선호도 차원을 처리할 수 있나요? 네, 정책은 여러 선호도 차원에 조건화되어 사용자가 최적화할 축을 지정할 수 있는 테스트 시점 조종 가능성을 제공합니다.