다양한 인간 및 로봇 영상으로 학습한 DreamX는 LARYBench의 잠재 행동 모델 가운데 최고 성능을 달성하며, 짝지은 학습 데이터 없이 임의의 비디오 간 전이와 인간에서 로봇으로의 행동 전이를 지원합니다. 후속 응용에서는 학습된 잠재 행동을 관측 조건부 로봇 정책의 예측 목표로 사용할 수 있으며, 실행 중 미래 비디오를 생성할 필요가 없습니다. 이러한 결과는 DreamX가 로봇 구현체 간 동작 전이를 지원하고 후속 정책 학습의 기반으로도 활용할 수 있는, 공유되고 전이 가능한 잠재 행동 공간을 학습한다는 점을 보여줍니다.
서론
주요 기여는 다음과 같습니다.
- DreamX는 사전 학습된 비디오 확산 모델의 시공간 사전분포와 생성 사전분포를 활용해 범용 잠재 행동을 학습하는 프레임워크입니다. 이렇게 얻은 표현은 LARYBench의 잠재 행동 모델 가운데 최고 성능을 달성합니다.
- 학습된 잠재 공간은 짝지은 소스–타깃 학습 데이터 없이 임의의 비디오 간 전이와 인간에서 로봇으로의 행동 전이를 지원합니다. 압축된 잠재 행동 코드 또한 후속 정책 학습의 예측 목표로 사용할 수 있습니다.
사전 준비: 비디오 확산 모델
모델은 흐름 속도를 예측합니다.
대규모 비디오 데이터에 대해 이 목적 함수를 최적화하면, 모델은 장면의 시각적 외관과 그럴듯한 동역학에 대한 생성 사전분포를 학습합니다. 초기 프레임이 장면의 외관을 제공하고, 추가 조건이 장면의 변화 방식을 조정합니다. DreamX는 이 특성을 활용해 잠재 행동으로 미래 프레임 재구성을 조정하며, 재구성 목적 함수는 잠재 행동이 무엇을 인코딩하는지 감독합니다.
비디오 확산 사전분포로 범용 잠재 행동 학습
DreamX는 사전 학습된 비디오 확산 백본을 서로 보완하는 두 가지 역할에 맞게 조정합니다. 관측된 동역학을 잠재 행동으로 인코딩하고, 미래 프레임 재구성을 통해 이를 감독하여 동작과 시각적 외관을 분리하도록 유도합니다. 학습 가능한 쿼리는 비디오 표현에서 정보를 읽어 관측된 동역학을 잠재 행동으로 요약하며, 디코더는 잠재 행동과 초기 프레임으로 미래를 재구성합니다. 인코더와 디코더 모두에 비디오 확산 백본을 사용하면 생성 사전분포가 시각적 외관을 처리하므로, 잠재 행동 토큰이 동작에 집중하도록 유도할 수 있습니다.
비디오 전이
DreamX는 타깃 초기 프레임에 지정된 외관을 보존하면서 장면과 로봇 구현체를 넘나드는 소스 동작 전이를 평가합니다. 평가에는 임의의 비디오 간 전이가 포함되며, 제로샷 인간-로봇 전이도 정량적으로 평가합니다.
같은 로봇의 환경 간, 서로 다른 로봇 구현체 간, 인간에서 로봇으로의 동작 전이를 보여주며, DAVIS 사례는 조작 작업을 넘어서는 전이도 제시합니다. DreamX는 타깃 장면과 로봇 구현체를 보존하면서 소스 동작을 재현합니다. 이러한 결과는 학습된 잠재 행동이 로봇 구현체와 환경을 아우르는 보편성을 지니며, 일반 영역의 비디오에도 적용됨을 뒷받침합니다.
결론
DreamX는 사전 학습된 비디오 확산 사전분포를 활용해 범용 잠재 행동을 학습합니다. 시공간 표현은 행동과 관련된 동역학을 제공하고, 생성 사전분포는 미래 프레임 재구성을 통해 잠재 행동 학습을 감독합니다. DreamX는 LARYBench의 잠재 행동 모델 가운데 최고 성능을 달성하며, 짝지은 학습 데이터 없이 임의의 비디오 간 전이와 인간에서 로봇으로의 행동 전이를 지원합니다. 이러한 압축 잠재 행동을 예측하면 인간 및 로봇 시연으로부터 효과적이고 효율적인 정책 학습도 가능합니다. 종합하면, 이러한 결과는 사전 학습된 비디오 모델이 로봇 구현체 전반에서 재사용 가능한 행동 표현을 학습하기 위한 기반이 될 수 있음을 보여줍니다.
AI 사용 성명
생성형 AI 도구는 원고 초안 작성 및 명확성과 가독성을 위한 편집, 구현 과정에서의 코드 편집, 연구 과정 중 논의에 도움을 주었습니다. 연구 아이디어, 방법론 선택, 실험 설계 및 결과 해석은 저자들이 수립하고 평가했으며 최종 결정했습니다. 저자들은 AI의 도움을 받은 모든 텍스트와 코드를 검토했고, 코드 변경 사항의 정확성을 테스트했습니다. 생성형 AI의 도움으로 작성된 텍스트, 주장, 코드 및 결과물을 포함해 이 연구의 최종 내용에 대한 책임은 저자들에게 있습니다.
윤리 성명
이 연구에 사용된 모든 데이터셋은 부록에 기재된 인간 1인칭 시점 및 로봇 시연 데이터셋을 포함해 공개적으로 이용할 수 있습니다. 인간 영상에는 식별 가능한 사람이나 주변 환경이 포함될 수 있으므로, 재배포하는 사례는 원본 데이터셋의 이용 약관과 개인정보 보호 요건을 따라야 합니다. 비디오 전이 결과물은 합성 데이터이므로 합성 데이터임을 표시해야 합니다. 로봇 구현체 간 전이와 로봇 정책은 평가된 설정 외에서는 실패할 수 있으므로, 배포 전에 안전성 검증이 필요합니다.
실제 로봇 설정
행동 전이 및 정책 실험에는 모두 양팔 YAM 로봇을 사용합니다. 행동 공간은 14차원의 절대 명령으로 구성되며, 각 팔의 관절 위치 6개와 그리퍼 명령 1개를 포함합니다. 상단을 향하도록 장착한 Intel RealSense D405 카메라로 관측합니다.
행동 전이 세부 사항
고정된 DreamX 인코더를 사용해 인간 시연에서 잠재 행동을 추출하고, 이를 로봇 명령으로 디코딩합니다. 생성된 궤적은 인간의 잠재 행동과 로봇의 초기 고유수용감각 상태를 조건으로 하여 시각 피드백 없이 개루프 방식으로 실행됩니다.
정책 평가 세부 사항
서랍 닫기 설정 세 가지를 평가합니다. 위쪽 서랍만 열린 경우, 아래쪽 서랍만 열린 경우, 두 서랍이 모두 열린 경우입니다. 모든 설정에서 지시문은 “서랍을 닫아”입니다. 두 서랍이 모두 열려 있으면 로봇은 아래쪽 서랍보다 위쪽 서랍을 먼저 닫아야 합니다. 고정된 상단 시점 RGB 카메라로 작업 공간을 관측합니다.
LARYBench 평가 세부 사항
모든 표현 모델은 고정하고, 행동 회귀 및 분류를 위해 공통 어텐션 프로브를 학습합니다. 각 입력 토큰은 선형 계층, 계층 정규화 및 GELU를 거쳐 768차원으로 투영됩니다. 여러 전이에 걸친 표현에서는 학습된 시간 임베딩으로 전이 위치를 식별한 뒤 시간 및 토큰 차원을 펼칩니다. 학습 가능한 쿼리 기반 어텐션 풀러가 토큰을 하나의 특징으로 집계하고, 이를 회귀 또는 분류 헤드에 전달합니다.
제로샷 인간-로봇 전이 세부 사항
평가에는 HumanAndRobot의 21개 작업에서 작업별 48개씩 선정한 총 1,008개의 클립을 사용합니다. 각 방법에는 인간 소스 비디오와 그에 짝지어진 로봇 녹화의 초기 프레임이 제공됩니다. 나머지 로봇 프레임은 평가 참조로만 사용하며, 인간-로봇 짝지은 데이터는 학습에 사용하지 않습니다. DreamX는 AdaWorld 및 VideoWorld 2와 비교하며, 각 방법의 기본 생성 구간을 사용합니다.
평가 구간을 통일하기 위해 각 출력에서 처음 20개 프레임을 유지하고 조건 프레임은 제외하여 클립당 생성 프레임 19개를 사용합니다. 보고된 지표는 Kinetics-400 사전 학습 I3D 네트워크를 사용한 FVD, VGG 기반 LPIPS, PSNR 및 대응하는 로봇 참조 비디오와 비교한 SSIM입니다.
정책 평가
도달 및 밀기 작업의 완료율을 각각 보고합니다. 각 쌍의 평균을 설정별 성공률로 계산하면, Mimic-Video는 모든 설정에서 50.0%이며 DreamX는 각각 90.0%, 100.0%, 100.0%입니다.
표현 분석
2,362개의 RoboCOIN 클립을 사용해 잠재 행동이 로봇 구현체 간에 공통된 방향 구조를 보이는지 분석합니다. 데이터는 10가지 로봇 유형과 말단 장치의 6개 병진 방향을 포함합니다.
방향 조건부 잠재 행동 중심점 60개를 t-SNE로 시각화한 결과, 같은 방향의 중심점은 로봇 유형이 달라도 비슷한 구조를 보입니다. 이 종합 분석은 로봇 구현체 간에 공유되는 방향 구조를 뒷받침합니다.
임의의 비디오 간 전이
추가적인 임의의 비디오 간 전이 사례는 본문 논문의 사례를 보완하며, 다양한 로봇 구현체와 환경을 다룹니다.
인간에서 로봇으로의 행동 전이
추가적인 인간-로봇 행동 전이 사례는 글쓰기와 한 팔 조작을 다룹니다. 실험 설정은 행동 전이 세부 사항에 설명되어 있습니다.
정책 실행
실제 환경에서 서랍을 닫는 실행 사례는 위쪽 서랍만 열린 경우, 아래쪽 서랍만 열린 경우, 두 서랍이 모두 열린 경우를 다룹니다.
쿼리-비디오 어텐션
추가 쿼리-비디오 어텐션 시각화는 인간 및 로봇 시연 시퀀스를 다룹니다. 쿼리-비디오 어텐션은 모든 헤드, 각 시간 그룹의 쿼리 슬롯 4개, 마지막 트랜스포머 블록 7개에 대해 평균을 냅니다.
자주 묻는 질문
DreamX는 비디오에서 무엇을 학습하나요? DreamX는 동작을 표현하며 장면과 로봇 구현체 간에 전이할 수 있는 범용 잠재 행동을 학습합니다.
인간에서 로봇으로 전이하려면 짝지은 학습 데이터가 필요한가요? 아니요. DreamX는 짝지은 소스–타깃 학습 데이터 없이 인간에서 로봇으로의 행동 전이를 지원합니다.
DreamX의 잠재 행동은 로봇 정책에 어떻게 사용되나요? 잠재 행동은 관측 조건부 로봇 정책의 예측 목표로 사용되며, 실행 중 미래 비디오를 생성할 필요가 없습니다.
실제 환경 실험에는 어떤 로봇 설정을 사용하나요? 실험에는 14차원 절대 행동 명령을 사용하는 양팔 YAM 로봇과 상단 시점 Intel RealSense D405 카메라를 사용합니다.