우리는 Warp-Augmented Relative Progress Reward Model (WARP-RM)을 소개합니다. 이는 시각적 관찰만으로 작업의 밀집된 프레임별 진행 속도를 추정하는 비전 기반 모델입니다. 인간의 주석 없이 WARP-RM을 훈련하기 위해, 우리는 WARP 알고리즘을 제안합니다. 이는 완전 자기지도 학습 방식으로, 성공적인 인간 원격 조작 데모 데이터셋을 사용하여 각 프레임의 시작 프레임 대비 정규화된 시간 델타를 예측하도록 모델을 훈련합니다. 비디오 재생 속도의 시간 워핑과 그에 따른 진행 레이블은 강력한 자기지도 신호를 제공합니다: 더 넓은 간격으로 프레임을 서브샘플링하면 빠른 실행을 모방하고, 더 좁은 간격으로 샘플링하면 느린 실행을 모방합니다. 이 시간 워핑 증강을 비균일하게 적용하면 단일 데모가 연속적인 진행 속도 범위에 걸쳐 밀집된 감독 신호를 제공합니다.
개요 및 표기법
Warp-Augmented Relative Progress Reward Model (WARP-RM)은 시각적 관찰만으로 작업의 밀집된 프레임별 진행 속도를 추정하는 비전 기반 모델입니다. 인간의 주석 없이 WARP-RM을 훈련하기 위해, WARP 알고리즘은 완전 자기지도 방식을 사용하여 성공적인 인간 원격 조작 데모 데이터셋을 기반으로 각 프레임의 시작 프레임 대비 정규화된 시간 델타를 예측하도록 모델을 훈련합니다.
진행 모델 훈련
상대적 누적 진행 목표는 샘플링된 인덱스로부터 계산됩니다. 프레임별 누적 진행 의사 레이블은 윈도우 시작점으로부터의 부호 있는 변위를 상수 T로 정규화하여 계산됩니다. 이 정규화는 -T에서 T 범위의 합성 진행 목표를 생성하여, 모델이 작업 실행의 상대적 속도를 학습할 수 있게 합니다.
한계 및 향후 연구
본 연구는 UC 버클리 AUTOLAB에서 Berkeley AI Research (BAIR) Lab의 제휴하에 수행되었습니다. XDOF는 이 프로젝트에 사용된 원격 조작 데모 데이터, 훈련 컴퓨팅 및 평가 하드웨어 인프라를 제공했습니다. UC 버클리에서의 학문적 역할로, Justin Yu, Andrew Goldberg, Kavish Kondap, Karim El-Refai, Ethan Ransing, Ken Goldberg는 Toyota Research Institute, Autodesk, Meta, Google, Siemens, Bosch의 기부와 NVIDIA, PhotoNeo, NSF AI4OPT Center, Intuitive Surgical의 장비 지원을 받고 있습니다. Justin Yu는 National Science Foundation Graduate Research Fellowship Program (Grant No. DGE 2146752)의 지원을 받고 있습니다. 본 자료에 표현된 모든 의견, 발견 및 결론은 저자들의 것이며 National Science Foundation의 견해를 반드시 반영하는 것은 아닙니다.
자주 묻는 질문
WARP-RM이란 무엇이며 무엇을 추정하나요? WARP-RM은 시각적 관찰만으로 로봇 작업의 밀집된 프레임별 진행 속도를 추정하는 비전 기반 모델로, 인간의 주석이 필요 없습니다.
WARP-RM은 인간 레이블 없이 어떻게 훈련되나요? WARP 알고리즘은 성공적인 인간 원격 조작 데모만을 사용하여 각 프레임의 시작 프레임 대비 정규화된 시간 델타를 예측하도록 모델을 훈련하는 자기지도 방식을 사용합니다.
시간 워핑 증강 기법이란 무엇인가요? 시간 워핑은 다른 간격으로 프레임을 서브샘플링하여 비디오 재생 속도를 변화시킵니다. 더 넓은 간격은 빠른 실행을, 더 좁은 간격은 느린 실행을 모방하여 연속적인 진행 속도 범위에 걸쳐 밀집된 감독 신호를 제공합니다.
이 연구에 사용된 데이터와 인프라는 무엇인가요? 연구는 XDOF가 제공한 원격 조작 데모 데이터와 XDOF의 훈련 컴퓨팅 및 평가 하드웨어를 사용했으며, UC 버클리 AUTOLAB에서 BAIR의 제휴하에 수행되었습니다.