우리는 로봇 조작을 위한 조밀한 비전-언어 보상 모델인 DenseReward를 제안합니다. 이 방법은 세 가지 구성 요소로 이루어져 있습니다: 단계 인식 조밀 보상 레이블이 있는 궤적을 생성하는 자동 데이터 생성 파이프라인, 목표 지향 섭동을 통해 다양한 실패 궤적을 생성하는 실패 합성, 그리고 성공 및 실패 궤적의 혼합 데이터로 훈련되어 세밀한 작업 진행도를 추정하는 DenseReward 모델입니다.
방법
우리는 로봇 조작을 위한 조밀한 보상을 예측하는 비전-언어 보상 모델인 DenseReward를 제안합니다. 우리의 방법은 세 가지 구성 요소로 이루어져 있습니다: 단계 인식 조밀 보상 레이블이 있는 궤적을 생성하는 자동 데이터 생성 파이프라인, 목표 지향 섭동을 통해 다양한 실패 궤적을 생성하는 실패 합성, 그리고 성공 및 실패 궤적의 혼합 데이터로 훈련되어 세밀한 작업 진행도를 추정하는 DenseReward 모델입니다.
실패 합성
자동 데이터 생성 파이프라인을 기반으로, 우리는 조밀한 보상이 있는 실패 궤적을 합성합니다.
DenseReward 훈련
데이터셋. 자동 데이터 생성 파이프라인을 기반으로, 우리는 성공 및 실패 궤적에서 27,000개의 에피소드를 포함하는 조밀 보상 데이터셋을 구축했습니다. 데이터셋은 DROID의 실제 성공 및 실패 에피소드, RoboSuite의 시뮬레이션 조작 궤적, Isaac Sim의 시뮬레이션 조작 궤적 등 다양한 시뮬레이션 및 실제 소스를 포함합니다. 데이터셋은 60개 이상의 다양한 조작 객체를 포함한 다양한 조작 설정을 다룹니다. 우리는 데이터셋을 모델 훈련 및 평가를 위해 훈련 세트와 테스트 세트로 분할했습니다.
결론
우리는 로봇 조작을 위한 조밀한 비전-언어 보상 모델인 DenseReward를 제안합니다. 우리는 단계 인식 조밀 보상이 있는 궤적을 생성하는 자동 시뮬레이션 파이프라인과 목표 지향 섭동을 통한 실패 합성을 개발했습니다. DenseReward는 세밀한 작업 진행도, 부분 완료, 그리고 일반적인 실패 패턴을 포착합니다. DenseReward는 조밀 보상 예측에서 범용 VLM 및 기존 로봇 보상 모델보다 뛰어난 성능을 보이며, 하위 강화 학습에 유용한 보상 지침을 제공합니다. 우리는 우리의 데이터셋, 모델, 평가 스위트가 로봇 조작을 위한 확장 가능한 보상 학습에 대한 미래 연구를 지원하기를 바랍니다.
한계 및 향후 작업. 우리는 이 작업을 도구 사용 및 장기 과제와 같은 더 복잡한 조작으로 확장할 계획입니다. 향후 방향은 보상 학습 과정에 인간 선호도 피드백을 통합하여 조밀 보상 모델을 더 일반적이고 확장 가능하게 만들고 실제 로봇 학습에 대한 인간의 기대와 일치시키는 것도 포함됩니다.
자주 묻는 질문
DenseReward는 조밀 보상에 대한 훈련 데이터를 어떻게 생성합니까? 자동 시뮬레이션 파이프라인을 사용하여 60개 이상의 다양한 조작 객체에 대한 성공 및 실패 사례 모두를 포함하는 단계 인식 조밀 보상 레이블이 있는 궤적을 생성합니다.
DenseReward는 어떤 유형의 실패 궤적을 사용합니까? 실패 궤적은 시뮬레이션에서 목표 지향 섭동을 통해 합성되어 보상 모델이 인식하도록 학습하는 다양한 실패 패턴을 생성합니다.
27,000개의 훈련 에피소드는 어떤 소스에서 제공됩니까? 데이터셋에는 DROID의 실제 에피소드와 RoboSuite 및 Isaac Sim의 시뮬레이션 궤적이 포함되며, 성공 및 실패 사례를 모두 다룹니다.
DenseReward는 다른 방법과 비교하여 성능이 얼마나 좋습니까? DenseReward는 조밀 보상 예측에서 범용 비전-언어 모델 및 기존 로봇 보상 모델보다 뛰어난 성능을 보이며, 하위 강화 학습에 유용한 보상 지침을 제공합니다.