휴머노이드는 일상에서 마주치는 다양한 물체와 상호작용하는 법을 어떻게 배울 수 있을까요? 시각 모방 학습은 유망한 접근법입니다. 인간의 시연은 다양한 물체에 다가가고, 들어 올리고, 운반하고, 내려놓는 데 필요한 전신 협응 동작의 사례를 제공합니다. 최근의 실물-시뮬레이션-실물 파이프라인을 통해 휴머노이드는 인간 동영상만으로 상황에 맞는 전신 이동 기술을 습득할 수 있게 되었습니다. 이러한 발전은 인터넷 규모의 동영상 데이터에서 폭넓은 이동 및 조작 기술을 학습하는 범용 휴머노이드로 나아갈 가능성을 보여줍니다.
그러나 다양하고 품질 높은 인간-물체 상호작용 동영상을 확보하는 일은 시각 모방 학습의 규모를 키우는 데 현실적인 병목으로 남아 있습니다. 인터넷에는 동영상이 풍부하지만, 그 내용과 구도는 사람들의 시청 선호에 따라 결정됩니다. 따라서 사람의 전신과 물체를 다루는 방식이 명확히 보이는 시연을 찾기 위해 인터넷 동영상을 필터링하는 일은 비용이 많이 들고 대규모로 수행하기 어렵습니다. 하지만 이러한 상호작용 데이터는 최신 동영상 생성 모델에 잠재적으로 담겨 있습니다. 모델이 학습한 인간 동작과 상호작용에 관한 사전 지식을 활용하면 다양한 학습 동영상을 합성할 수 있습니다.
핵심 기술 과제는 반사실적 동영상 생성과 단안 재구성 과정에서 발생하는 오류에도 불구하고 물리적으로 타당한 로봇 시연을 확보하는 것입니다. 핵심 아이디어는 재구성, 리타게팅, 정책 학습 전반에 걸쳐 접촉 신호를 공통 제약 조건으로 활용하는 것입니다. 첫 번째 재구성 단계에서는 인간과 물체의 접촉이 두 동작을 서로 연결합니다. 인간의 동작은 물체 궤적을 안내하고, 물체와의 접촉은 재구성된 인간 자세의 오류를 보정하는 데 도움이 됩니다. 리타게팅 과정에서는 희소한 접촉 앵커를 사용해 로봇의 말단 작동기가 물체의 어느 위치에 접촉해야 하는지 지정합니다. 이 앵커는 형태 차이를 고려하면서 잡음이 있는 재구성 결과를 물리적으로 타당한 로봇-물체 궤적으로 다듬도록 안내합니다. 정책 학습 과정에서는 앵커가 특권 정보 교사 정책의 접촉 보상을 정의하며, 이 정책은 로봇과 물체의 동작을 함께 추적합니다. 그런 다음 교사 정책을 깊이 기반 정책으로 증류하고 조이스틱 제어를 적용해 시뮬레이션에서 현실로 제로샷 배포합니다.
이 연구의 기여는 다음과 같습니다. 반사실적 동영상 생성을 활용해 인간-물체 상호작용 경험을 확장하는 학습 패러다임, 단안 재구성 결과를 물리적으로 타당한 로봇-물체 시연으로 변환하는 접촉 앵커 기반 실물-시뮬레이션 및 리타게팅 파이프라인, 그리고 다양한 물체에 일반화하고 로봇 탑재 깊이 관측만으로 조이스틱 제어 기반 집기·운반·내려놓기 동작을 수행하도록 통합 전신 휴머노이드 정책을 학습하는 실물-시뮬레이션-실물 파이프라인입니다.
반사실적 상호작용 동영상 생성
온라인 동영상으로 실물-시뮬레이션 학습을 확장하는 일은 여전히 어렵습니다. 인터넷에는 동영상이 풍부하지만, 그 내용과 구도는 사람들의 시청 선호에 따라 결정됩니다. 전신이 명확히 보이고 인간-물체 상호작용이 드러나며 시점이 안정적인 다양한 클립을 선별하는 일은 비용이 많이 들고 대규모로 수행하기 어렵습니다. PRISM은 동영상 간 생성 기술을 사용해 적합한 실사 동영상 소량을 다양한 반사실적 상호작용 동영상으로 확장합니다. 여기서 반사실적 상호작용이란 원본 동영상에서는 일어나지 않았지만 다른 물체가 있었다면 일어날 수 있었던 상호작용을 뜻합니다. 시드 동영상과 범주 수준의 텍스트 프롬프트를 입력하면, 모델은 원래의 배경, 조명, 카메라 시점, 대략적인 작업 구조를 유지하면서 조작 대상 물체를 교체하도록 요청받습니다. 이러한 동영상 조건화 방식은 실제 장면과 작업에 생성 결과를 기반하게 하면서 물체와 인간의 행동은 다양하게 바꿀 수 있도록 합니다.
중요한 점은 반사실적 변이가 물체의 형태나 외형에만 국한되지 않는다는 것입니다. 물체의 범주, 크기, 자세 또는 배치가 달라지면 조작 어포던스도 달라지고, 이에 따라 인간의 행동도 조정됩니다. 생성된 사람은 더 낮게 몸을 굽히거나, 손 사이 간격을 조정하거나, 물체의 어포던스에 맞게 접촉 전략을 바꾸거나, 물체를 다르게 운반할 수 있습니다. 따라서 생성된 각 클립은 같은 인간 동작에 새 물체를 단순히 짝짓는 것이 아니라, 물체 조건에 따른 상호작용 전략을 제공합니다. 이를 통해 PRISM은 기하 수준의 증강만으로는 명시적으로 구현하기 어려운 행동 수준의 변이를 확보합니다. 이러한 적응 행동을 처음부터 학습하려면 작업별 강화 학습 보상을 빠짐없이 설계해야 하지만, PRISM은 동영상 모델을 그럴듯한 인간의 적응 행동에 대한 오프라인 사전 지식으로 활용합니다.
실제로는 실세계 시드 동영상 4개를 촬영해 동영상 간 생성의 기반 템플릿으로 사용합니다. SeedDance 2.0에 원래의 배경, 조명, 카메라 시점, 시간적 연속성을 유지하면서 조작 대상 물체를 상자, 통, 배럴 또는 공으로 교체하도록 프롬프트를 제공합니다. 범주 수준 프롬프트를 사용하면 모델은 인간의 행동을 조정하면서 물체의 형태, 외형, 자세를 다양하게 바꿀 수 있습니다. 범주별 샘플을 16개 생성하면 시드 하나당 반사실적 동영상 64개가 만들어지고, 실사 녹화 4개는 실물-시뮬레이션 파이프라인용 동영상 256개로 확장됩니다.
공동 추적 교사 정책 학습
휴머노이드의 물체 상호작용은 공동 추적 문제로 정식화됩니다. 정책은 단안 동영상에서 재구성된 휴머노이드 동작과 움직이는 물체의 궤적을 동시에 추적합니다. 동작 추적 학습의 세부 사항은 논문에서 코드베이스를 참조하도록 안내합니다.
관측값
교사 정책의 관측값에는 기준 동작, 로봇 고유감각 정보, 이전 동작, 현재 및 목표 물체 상태가 포함됩니다. 물체 상태는 물체의 자세와 3D 바운딩 박스 치수로 표현되므로, 정책은 목표 로봇 동작과 물체 상태를 모두 명시적으로 인식합니다.
보상 및 종료 조건
보상은 주로 로봇 자세 추적, 물체 자세 추적, 동작 변화율, 관절 제한, 충돌 페널티로 구성됩니다. 접촉 인식 상호작용 보상은 재구성 및 리타게팅 방법에서 설명한 접촉 앵커를 사용합니다. 구체적으로, 로봇 말단 작동기가 목표 접촉 위치에 도달하고 사전 정의된 접촉력 임계값을 넘도록 보상합니다.
실물-시뮬레이션 재구성 품질
평가 지표
증류된 학생 정책의 경우 조이스틱 명령은 기준 동작에서 도출하고, 정책을 구동하기 위한 깊이 관측값은 시뮬레이션에서 렌더링합니다. 로봇이 집기-운반-내려놓기를 완료하고 목표 위치에 물체를 놓으면 롤아웃 성공으로 간주합니다.
논의
OMOMO로 학습한 정책은 OMOMO 시퀀스 전반에서는 좋은 성능을 보이지만, 특히 학습 분포에 없는 물체가 포함된 PRISM 상호작용으로는 잘 전이되지 않습니다. 주요 실패 유형은 세 가지입니다. 정책이 처음 보는 깊이 관측값에 어려움을 겪고, 근거리 상호작용에 과적합되어 멀리 있는 물체에 접근하기 전에 잡으려 하며, 새로운 물체 형태에서는 운반을 안정적으로 유지하지 못합니다.
이러한 실패는 OMOMO만으로는 견고한 이동 조작에 필요한 지각, 물체 구성, 상호작용 동역학의 변이가 충분하지 않음을 시사합니다. 반면 PRISM으로 학습한 정책은 두 도메인 모두에서 일반화되어 PRISM 데이터의 폭넓은 전이 가능성을 보여줍니다.
실세계 배포
Fast-FoundationStereo는 깊이 정보의 시뮬레이션-현실 간 격차를 크게 줄입니다. 목은 기본 위치에서 위쪽으로 지정되지 않은 각도만큼 수동으로 기울이며, 학습 중 카메라 자세를 무작위화해 정밀하지 않은 보정에도 대응합니다. 몸을 굽히는 동안 목이 기본 위치로 돌아가거나 목표 각도에서 벗어나는 경우가 있어, 학습 분포 밖의 깊이 관측값이 발생합니다.
결론
PRISM은 소수의 실사 동영상을 다양한 휴머노이드 시연으로 확장하는 실물-시뮬레이션-실물 프레임워크입니다. 접촉 앵커 기반 재구성 및 리타게팅을 통해 불완전한 반사실적 동영상을 물리적으로 타당한 로봇-물체 궤적으로 변환합니다. 그 결과 얻은 통합 깊이 기반 정책은 현실 세계에서 처음 보는 물체도 제로샷으로 집고, 운반하고, 내려놓습니다. 이러한 결과는 동영상 생성이 일반화 가능한 전신 상호작용을 위한 실용적인 데이터 원천임을 보여줍니다.
한계와 향후 연구
이 파이프라인은 실세계에서 고무적인 결과를 보였지만, 몇 가지 실용적 약점은 여전히 남아 있습니다.
재구성 및 리타게팅
특히 일관된 접촉과 상호작용 동역학을 유지하면서 단안 4D 인간-물체-장면을 복원하는 일은 여전히 어렵습니다. 재구성 오류는 리타게팅 과정에서 전파되어 로봇 시연의 품질을 저하시킬 수 있습니다. 이 연구가 진행되는 동안 Astra를 사용할 수 없었지만, 이와 같은 코딩 에이전트는 반사실적 동영상으로부터 재구성을 자동화하고 반복적으로 개선할 수 있습니다. 이러한 에이전트를 접촉 인식 리타게팅 및 시뮬레이션 기반 검증과 결합하면 로봇 시연의 신뢰도를 높일 수 있습니다.
데이터 규모
시드 동영상 4개에서 생성 클립 256개, 실행 가능한 궤적 137개, 성공한 교사 롤아웃 129개를 얻었습니다. 이 규모로는 규모 확장에 따른 성능 변화를 파악하기에 부족하며, 재구성 및 리타게팅은 여전히 실용적인 병목입니다. 향후 연구에서는 시연의 양과 품질이 제로샷 일반화에 미치는 영향을 살펴볼 수 있도록 생성과 궤적 복원을 함께 확장해야 합니다.
물체 물리
이 방법은 범주별 대표 질량과 메시에서 도출한 관성 모멘트를 사용하며, 질량-관성 연동 스케일링과 무작위 마찰을 적용합니다. 개별 물체의 표면 특성이나 내부 질량 분포는 식별하지 않기 때문에 시뮬레이션과 현실 간 접촉 불일치가 발생할 수 있습니다.
시뮬레이션의 한계
동적 물체는 강체로 모델링됩니다. 따라서 상호작용 중 접촉 형상이 바뀔 수 있는 관절형 물체나 변형 가능한 물체에서는 정책의 성능이 저하될 수 있습니다. 예를 들어 접이식 의자는 내부 관절이 움직여 불안정한 파지나 제어 상실을 일으킬 수 있습니다.
감사의 말
저자들은 지원과 귀중한 피드백을 제공한 Chung Min Kim, Arthur Allshire, Hongsuk Choi, Isabella Yu, Junyi Zhang, Jacob Berg, Yen-Jen Wang, Sirui Chen, Charlie Cheng, Jiashun Wang, Siheng Zhao, Youjian Huang, JC Hu, Haochen Wang, Haozhi Qi, Qitao Zhao에게 감사를 전합니다.
접촉 앵커의 신뢰성
양손 운반의 경우 2D 중첩으로 접촉 시점을 파악하고, 손바닥 중심 사이 선분과 메시의 교차점으로 물체 좌표계의 앵커를 구합니다. 자세 및 메시 오류는 관통과 역운동학 실패를 초래할 수 있습니다. 이 방법은 관통이 없는 역운동학 해와 전체 궤적에 대한 교사 롤아웃을 유지하지만, 접촉이나 실행 가능성을 공식적으로 보장하지는 않습니다.
파이프라인 실행 시간
논문은 참조된 표에 8초 클립당 평균 시간을 보고하지만, 제공된 텍스트에는 표의 수치가 포함되어 있지 않습니다. 재구성 및 리타게팅에는 NVIDIA L40S GPU 1개를 사용하며, 동영상 간 생성 지연 시간은 별도로 기록합니다.
추가 상호작용 사례
논문은 적절한 접촉 지점과 물체 표현을 바탕으로 공 굴리기와 문 열기 재구성 사례를 제시합니다. 문 형상에는 SAM3D를, 관절 구조에는 Codex를 사용합니다. 이러한 정성적 사례는 정책이나 실세계 평가가 아닙니다. 도구 사용, 재파지, 더 폭넓은 변형 가능 물체 조작, ExoRecon에서 볼 수 있는 극단적인 동역학은 아직 시험하지 않았습니다.
자주 묻는 질문
PRISM은 다양한 상호작용 시연을 어떻게 생성하나요? 실사 시드 동영상에서 장면은 유지하면서 물체를 교체하고, 물체에 맞춰 인간의 행동을 조정하는 동영상 간 생성 기술을 사용합니다.
접촉 앵커는 파이프라인에서 어떤 역할을 하나요? 접촉 인식 재구성 및 리타게팅을 안내하고, 교사 정책의 접촉 보상을 정의합니다.
반사실적 동영상은 몇 개 생성했나요? 시드 동영상 4개를 사용해 물체 범주별 샘플 16개씩, 총 256개의 동영상으로 확장했습니다.
이 접근법의 주요 한계는 무엇인가요? 단안 재구성 오류, 제한된 데이터 규모, 불확실한 물체 물리, 강체 시뮬레이션이 모두 성능을 제한할 수 있습니다.