삼중 모달 역학 기반 로봇 조작을 위한 표현 학습 (2026)

우리는 DynaFLIP을 제안합니다. 이는 운동 이해를 인식으로 상류로 밀어올리는 역학 인식 3D 흐름-언어-이미지 사전 학습 프레임워크입니다. 이미지 전이, 언어, 3D 흐름을 단순체 기반 공식(코사인 정규화기와 최적화 문제를 해결하는 대조 프레임워크로 강화)을 통해 공동으로 정렬함으로써, DynaFLIP은 제어 관련 영역에 초점을 맞춘 시각 표현을 학습합니다. 시뮬레이션 및 실제 조작 작업 전반에서 DynaFLIP은 재사용 가능한 시각 백본으로 강력하게 전이되며, 특히 시각적, 공간적, 의미적 분포 변화에서 큰 성능 향상을 보이며 기준선을 지속적으로 능가합니다. 우리의 결과는 로봇 일반화가 시각 표현이 단순히 무엇이 있는지뿐만 아니라 행동 아래 세계가 어떻게 변하는지 인코딩하도록 훈련될 때 향상됨을 나타냅니다.

DynaFLIP은 역학 인식 및 제어 관련 표현을 학습하는가?

실험 설정. 우리는 먼저 DynaFLIP의 사전 학습이 제어 관련 정보를 보존하는 역학 인식 표현을 생성한다는 주요 주장을 검증합니다. MetaWorld와 RLBench에서 사전 학습된 이미지 인코더를 분석합니다. 각 인코더는 고정된 상태로 유지되며, 경량의 3층 MLP 정책만 그 위에 훈련되어, 하위 작업 성능이 정책 용량보다는 표현 품질을 반영하도록 합니다.

함께, 정량적 및 정성적 결과는 DynaFLIP이 제어 관련 정보를 보존하고 조작에 중요한 영역에 초점을 맞춘 역학 인식 표현을 학습함을 보여줍니다.

실험 평가

이 섹션에서는 시뮬레이션과 실제 세계 모두에서 광범위한 실험을 통해 DynaFLIP을 평가합니다. 이러한 실험을 통해 다음 질문에 답하고자 합니다:

DynaFLIP은 조작에 필요한 제어 관련 정보를 보존하는 역학 인식 표현을 학습하는가?
역학 인식 표현이 강력한 기준선과 비교하여 하위 작업 정책 학습을 개선하는가?
DynaFLIP은 분포 내 및 분포 외 설정 모두에서 실제 조작을 개선할 수 있는가?
DynaFLIP의 어떤 설계 선택이 성능에 가장 중요한가?

데이터셋 생성 파이프라인

우리는 우리의 설정에 맞게 여러 수정을 가한 TraceForge의 통합 데이터 생성 파이프라인을 따릅니다. 우리의 파이프라인은 원본 비디오를 정렬된 이미지-언어-3D 흐름 삼중항으로 변환합니다. 원본 파이프라인과 비교하여, 우리는 이벤트 청킹과 속도 재타겟팅을 생략하고, 대신 각 비디오에서 프레임을 직접 샘플링하여 다양한 프레임 속도로 수집된 데이터셋 간의 유효 시간 해상도를 대략 일치시키면서 원본 동작 타이밍을 보존합니다.

원본 비디오를 정렬된 이미지-언어-3D 흐름 삼중항으로 변환하는 데이터 생성 파이프라인

언어 명령 생성. 각 샘플링된 궤적에 대해, 우리는 비전-언어 모델(VLM)을 사용하여 기본 조작 의도를 설명하는 언어 명령을 생성합니다. VLM은 궤적에서 샘플링된 소수의 대표 프레임과 함께 작업을 세 가지 형태(짧은 명령형 지시, 상세한 자연어 설명, 작업을 순차적 하위 목표로 분해하는 다단계 지시)로 설명하도록 요청하는 프롬프트를 입력으로 받습니다.

LIBERO 평가

우리는 다섯 가지 LIBERO 스위트(LIBERO-90, LIBERO-Goal, LIBERO-Object, LIBERO-Spatial, LIBERO-Long)에서 DynaFLIP을 평가합니다. LIBERO-90은 90개의 작업을 포함하고, 나머지 네 스위트는 각각 10개의 작업과 작업당 50개의 데모를 포함합니다.

시각 입력의 경우, 우리는 3인칭 RGB 관찰만 사용하고 그리퍼 뷰 이미지는 제외합니다. 이미지 인코더 출력은 확산 정책의 시각적 조건화 벡터 역할을 합니다. CNN 기반 인코더의 경우, ResNet 백본의 최종 특징 맵에 전역 평균 풀링을 적용하여 전역 이미지 특징을 얻습니다. ViT 기반 인코더의 경우, 분류 토큰을 평균 풀링된 패치 토큰과 연결하여 이미지 특징을 형성합니다.

언어 명령은 가능한 경우 해당 텍스트 인코더를 사용하여 인코딩됩니다. 기본 텍스트 인코더를 제공하지 않는 R3M, VC-1, DINOv2의 경우, CLIP 텍스트 인코더를 사용합니다. CLIP, LIV, DynaFLIP은 분류 토큰 표현을 문장 수준 언어 특징으로 사용하는 반면, SigLIP은 모든 토큰 임베딩에 대한 평균 풀링을 사용합니다.

훈련 및 평가 프로토콜. 우리의 주요 LIBERO 설정은 재사용 가능한 인코더 프로토콜을 따릅니다. 이미지와 언어 인코더 모두 고정된 상태로 유지되고, 확산 정책만 훈련됩니다. 이 설정은 각 사전 학습된 표현이 작업별 인코더 적응 없이 하위 작업 정책 학습으로 전이될 수 있는지 직접 평가합니다. 추가 비교로, 두 인코더를 확산 정책과 함께 공동으로 적응시키는 LoRA 설정도 보고합니다.

각 LIBERO 스위트에 대해, 해당 스위트의 데모를 사용하여 별도의 확산 정책을 훈련하고 해당 스위트에서 평가합니다. 각 방법은 200 에포크 동안 훈련됩니다. 20 에포크마다, 작업당 20회 롤아웃을 사용하여 정책을 평가합니다. 그런 다음 훈련 전반에 걸쳐 최고 성능의 체크포인트를 선택하고 평균 롤아웃 성공률을 보고합니다.

일반화된 단순체 부피

n-모달 튜플에 대해, v_i를 L2-정규화된 모달리티 임베딩으로 하고, e_i = v_i - v_n을 단순체 모서리 벡터로 정의합니다. G를 단순체 모서리 벡터의 그람 행렬이라고 하면, 일반화된 단순체 부피는 Vol(S) = sqrt(det(G))로 정의됩니다. 더 작은 값은 모달리티 임베딩이 공유 잠재 공간에서 더 낮은 부피 구성을 형성함을 나타내며, 이는 모달리티 간의 더 강한 공동 정렬을 반영합니다. DynaFLIP이 사용하는 세 가지 모달 설정에서, 이 양은 식 (1)에 정의된 삼각형 면적으로 축소되며, 우리는 이후 분석에서 이 경우에 초점을 맞춥니다.

단순체 부피만으로는 충분하지 않은 이유

우리는 세 가지 모달 경우에서 단순체 부피 정렬을 분석합니다. 여기서 목적 함수는 식 (1)의 삼각형 면적으로 축소됩니다. 이 설정은 정렬 기울기를 특성화하고 두 가지 주요 한계(낮은 부피 구성의 모호성과 충돌하는 정렬 기울기)를 드러낼 수 있게 합니다.

낮은 단순체 부피가 반드시 모든 모달리티 간의 쌍별 정렬을 의미하지는 않습니다. 단순체 부피는 일부 모달리티 쌍이 멀리 떨어져 있어도 사라질 수 있습니다. 예를 들어, 임베딩의 하위 집합이 함께 붕괴되거나 모든 임베딩이 거의 공선형이 될 때입니다.

예를 들어, 우리는 세 가지 모달 경우에서 이를 설명합니다. R²에서 단위 벡터를 고려합니다.

결론

자주 묻는 질문

DynaFLIP은 사전 학습 중에 세 가지 다른 모달리티를 어떻게 정렬합니까? DynaFLIP은 공유 잠재 공간에서 이미지 전이, 언어, 3D 흐름 임베딩이 형성하는 부피를 공동으로 최소화하는 단순체 기반 정렬 공식을 사용하며, 코사인 정규화기와 대조 프레임워크로 강화됩니다.

로봇 공학을 위한 기존의 비전-언어 사전 학습 방법과 DynaFLIP의 차별점은 무엇입니까? 정적 데이터로 훈련된 방법과 달리, DynaFLIP은 전이 중심 모달리티(이미지 전이와 3D 흐름)를 언어와 정렬하여 역학 인식을 명시적으로 통합하며, 시각적으로 눈에 띄지만 작업과 무관한 영역보다는 제어 관련 영역에 초점을 맞춥니다.

실제 조작에서 분포 변화 하에 DynaFLIP은 어떻게 성능을 발휘합니까? DynaFLIP은 기준선과 비교하여 시각적, 공간적, 의미적 분포 변화에서 특히 큰 성능 향상을 보여, 분포 외 설정에서 배치될 때 강력한 일반화 능력을 입증합니다.

모달리티 정렬을 위해 단순체 부피만 사용할 때의 실패 모드는 무엇입니까? 낮은 단순체 부피는 일부 모달리티 쌍이 멀리 떨어져 있어도 발생할 수 있습니다. 예를 들어, 임베딩의 하위 집합이 함께 붕괴되거나 모든 임베딩이 거의 공선형이 될 때 모호한 정렬로 이어집니다.