인간의 의사 결정은 반사적(예: 걷기)에서 숙고적(예: 체스 두기)까지 다양하며, 각 결정에 투입되는 시간과 노력은 상황에 따라 달라집니다. 이 과정은 반복적이면서도 적응적이며, 결정의 복잡성에 따라 확장되는 논리적 단계의 연쇄를 통해 진행됩니다. 현대 대규모 언어 모델(LLM)도 유사한 패턴을 보입니다. 즉, '추론' LLM이라는 광범위한 클래스는 최종 답변 전에 중간 토큰을 생성함으로써 성능을 크게 향상시킵니다. 이에 우리는 묻습니다: 반복적이고 적응적인 연산이 로봇 공학과 같은 순차적 의사 결정 문제에 도움이 될 수 있을까요? 로봇 정책의 경우, 그 이점은 두 가지라고 생각합니다: 작업 변동성 하에서의 효율적인 의사 결정과 일반화 성능 향상입니다. 하지만 언어 모델의 방법을 직접 전이하는 것만으로는 충분하지 않을 수 있습니다. 언어 토큰은 공간 이해와 정밀한 움직임에 필요한 미묘한 차이를 포착하지 못할 수 있기 때문입니다. 따라서 우리는 로봇 정책이 행동 예측을 위해 종단간 학습된 잠재 공간에서 반복적으로 추론해야 한다고 제안합니다. 이는 반복적이고 적응적인 연산의 이점을 유지하면서, 중간 표현이 적절한 세분성으로 제어 관련 정보를 포착할 수 있게 합니다.
실험
우리는 다음 연구 질문에 답하기 위해 실험을 수행합니다: (1) LMP-매개변수화된 형태는 성능이 좋은 생성적 제어 정책인가? (2) LMP-토큰화 변형은 효과적인 행동 토크나이저인가? (3) LMP는 테스트 시간 연산의 적응적 할당을 보여주는가? (4) LMP의 성능에 기여하는 요소는 무엇인가?
논의
LMP는 샘플링 기반 강화 학습 기법으로 훈련되므로 하이퍼파라미터에 민감합니다. 예를 들어, 충분히 큰 롤아웃 버퍼나 정규화 없이는 잠재 분포가 붕괴되기 쉽습니다. 제안된 프레임워크의 안정적이고 확장 가능한 최적화 탐색은 향후 연구로 남깁니다.
기준 방법 세부 사항
이 절에서는 기준 방법의 세부 사항을 설명합니다. 모든 정책 기준 방법은 관찰 기록 1, 행동 청크 16을 사용합니다. 모든 기준 방법을 우리 방법과 동일한 기울기 단계 수만큼 훈련합니다. 이들은 잡음 제거 확산 과정을 사용하여 전문가의 행동 분포를 모델링하는 생성적 제어 정책입니다. Diffusion Policy는 단일 작업 변형이고, Large Behavior Model은 언어 조건 다중 작업 변형입니다. 잡음 예측 네트워크는 교차 주의 관찰 조건화를 갖춘 양방향 트랜스포머로 매개변수화합니다. 훈련 시 100개의 확산 단계를 사용하고, 추론 시 DDIM 스케줄러로 10개의 확산 단계를 사용합니다.
환경 세부 사항
플랫폼은 7자유도 Franka 로봇을 기반으로 한 단일 팔 조작 설정입니다. 이미지 관찰은 장면 카메라와 손목 카메라의 두 개의 (180, 320) 이미지로 구성됩니다. 저차원 관찰은 6차원 절대 관절 위치와 [0, 1] 연속 값으로 표현된 1차원 절대 그리퍼 위치로 구성됩니다. 행동은 6차원 델타 관절 위치와 1차원 절대 그리퍼 위치로 구성됩니다. 컨트롤러는 10Hz로 작동합니다. 신뢰할 수 있는 비교를 위해 오버헤드 카메라를 장착하고 프로그램을 사용하여 각 작업에 대해 20개의 초기 구성을 추적합니다. 프로그램은 미리 캡처한 스냅샷과 라이브 프레임을 알파 블렌딩하여 물체를 정렬하여 재설정할 수 있게 합니다.
우리는 DROID 데이터셋의 훈련 분포 내에 대략적으로 속하는 두 가지 제로샷 작업과, 각각 100개의 시연을 수집하고 정책을 미세 조정하는 두 가지 도전적인 작업을 평가합니다.
블록-볼 (제로샷) 은 큐브 블록을 집어 그릇에 넣는 작업입니다. 물체는 작업 공간 내에서 무작위로 초기화됩니다. 그리퍼가 블록을 그릇에 놓으면 에피소드가 성공한 것으로 간주됩니다. 언어 명령: "블록을 집어 그릇에 넣어."
마커-머그 (제로샷) 은 마커를 집어 머그컵에 넣는 작업입니다. 물체는 작업 공간 내에서 무작위로 초기화됩니다. 그리퍼가 마커를 머그컵에 놓으면 에피소드가 성공한 것으로 간주됩니다. 언어 명령: "마커를 집어 머그컵에 넣어."
페그-홀 (미세 조정) 은 정사각형 구멍이 있는 베이스에 정사각형 페그를 삽입하는 고정밀 조작 작업입니다. 베이스는 작업 공간 중앙 근처의 정사각형 영역에 무작위로 초기화되고, 페그는 정사각형 영역 외부에 무작위로 초기화됩니다. 그리퍼가 페그를 베이스에 단단히 삽입하면 에피소드가 성공한 것으로 간주됩니다. 언어 명령: "페그를 구멍에 넣어."
테이블 청소 (미세 조정) 은 작업 공간에 흩어진 3개의 물체를 그릇에 넣는 구성적 조작 작업입니다. 7개의 물체 세트에서 무작위로 3개를 선택하여 시연을 수집합니다. 1개, 2개, 3개의 물체를 청소한 부분 성공을 측정합니다. 언어 명령: "테이블을 치워."
LIBERO-90 작업 성공률 분포
LMP-매개변수화된 형태와 DP 모두 대부분의 작업에서 거의 완벽한 성공을 달성하지만, LMP-매개변수화된 형태는 더 느린 속도로 감소하여 작업 의미론 전반에 걸쳐 더 나은 일반화와 작업 간 간섭 감소를 보여줍니다.
테스트 시간 연산에 대한 추가 정성적 분석
우리는 d3il-stacking에서 분석 실험을 구성하여 테스트 시간 연산 할당을 정성적으로 이해합니다. 그리퍼를 연 상태로 유지하고 블록을 열린 그리퍼를 통해 밀면서, 정책에 평균 잠재 단계 수를 지속적으로 질의합니다. 블록이 이동함에 따라, 블록이 그리퍼 바로 아래에 있을 때 잠재 단계 수가 최저점에 도달합니다. 이는 추론 단계와 잠재적 그리퍼 움직임 간의 상관관계를 정성적으로 보여줍니다.
우리는 여러 시뮬레이션 및 실제 작업에서 잡기 및 놓기 중에는 잠재 단계 수가 낮고, 정렬 및 기타 움직임 중에는 높은 것을 발견했습니다. Robomimic lift 및 can, 또는 말단 효과기가 페그인 D3IL aligning 및 sorting과 같은 단순한 작업에서는 잠재 단계 변동이 그다지 관찰되지 않았습니다.
자주 묻는 질문
잠재 기억 궁전은 표준 확산 기반 정책과 어떻게 다른가요? LMP는 행동 공간에서 잡음을 제거하는 대신 학습된 잠재 공간에서 반복적 잠재 추론을 사용하여 적응형 테스트 시간 연산 할당을 가능하게 합니다.
어떤 유형의 작업이 LMP의 적응형 연산에서 가장 큰 이점을 얻나요? 정렬이나 정밀한 움직임이 필요한 복잡한 작업은 중요한 단계에서 높은 잠재 단계 수를 보이는 반면, 단순한 잡기 작업은 더 적은 단계를 사용합니다.
LMP 프레임워크는 하이퍼파라미터 선택에 민감한가요? 예, 충분히 큰 롤아웃 버퍼나 정규화 없이는 잠재 분포가 붕괴될 수 있으며, 안정적인 최적화는 향후 연구 과제입니다.
LMP는 일반화 측면에서 어떻게 평가되나요? DROID 데이터셋의 제로샷 작업과 페그 삽입과 같은 고정밀 작업에 미세 조정되어 테스트되며, 확산 기준선에 비해 작업 간 일반화가 개선됨을 보여줍니다.