정교한 조작이 가능한 로봇, 하나의 월드 액션 모델로 보고 예측하고 계획하다 (2026)

P3-WAM은 세 가지 기능을 하나의 모델로 결합합니다. 동영상에서 손과 카메라의 움직임을 재구성하고, 다음에 일어날 일을 예측하며, 시각적 목표를 달성하기 위한 동작을 계획합니다. 연구진은 평가한 기준 모델보다 이 작업들에서 더 나은 결과를 보고했으며, 생성된 사람 손 동작을 실제 정교한 조작 로봇에 전이하는 시연도 선보였습니다. 시각적 이해와 실제 조작을 연결하는 시스템을 향한 한 걸음입니다.

연구진은 무엇을 만들었나요?

P3-WAM은 정교한 조작을 위한 통합 월드 액션 모델입니다. 장면이 어떻게 보일지와 손 및 카메라가 어떻게 움직일지를 함께 예측하는 시스템입니다. 사람이 작업을 수행하는 시점에서 촬영한 영상인 1인칭 동영상과 텍스트 지시를 입력으로 받습니다. 계획을 세울 때는 의도한 최종 배치를 보여주는 목표 이미지도 사용할 수 있습니다.

이 모델은 세 가지 모드를 지원합니다. 인식은 관측된 동영상에서 손과 카메라의 움직임을 추정합니다. 예측은 관측된 동작을 바탕으로 미래의 동영상과 움직임을 예측합니다. 계획은 목표에 도달하기 위한 가능한 동작 시퀀스와 이에 해당하는 동영상을 생성합니다. 각 모드에서는 미래 동영상만 결과로 다루는 대신, 시각적 출력과 함께 손과 카메라의 궤적을 명시적으로 출력합니다.

이 작업들은 서로 겹치기 때문에 하나의 공유 모델을 사용하는 것이 중요합니다. 손 동작을 재구성하면 동작과 시각적 변화의 관계를 시스템이 학습하는 데 도움이 되고, 그 변화를 예측하면 계획에 유용한 맥락을 제공할 수 있습니다. P3-WAM은 사전 학습된 동영상 생성 모델을 기반으로 하며, 구조화된 손 및 카메라 동작을 처리하는 경로를 추가했습니다. 논문은 모델이 생성한 사람 손 동작을 정교한 조작 로봇의 궤적으로 변환한 시연도 소개합니다.

P3-WAM은 어떤 결과를 보고했나요?

연구진은 세 가지 모드를 각각 따로 학습하는 것보다 통합 학습이 모든 모드의 성능을 높인다고 보고합니다. P3-WAM은 인식 및 예측 작업에서 평가한 기준 모델보다 좋은 성능을 보였습니다. 계획에서는 생성된 동영상이 동작 과정의 품질과 지시 준수도 측면에서 더 높은 시각-언어 모델 점수를 받았습니다. 제공된 논문 내용에는 벤치마크의 수치 점수가 없어, 여기서는 성능 향상 폭을 비교할 수 없습니다.

인식 성능은 ARCTIC, HOT3D, EgoLive, EgoDex-MANO의 네 가지 데이터셋에서 평가했습니다. 평가에는 손이 보이는지 여부를 고려하는 손 가시성 반영 3D 관절 오차와 카메라 좌표계, 루트 기준, 정렬 좌표계에서의 측정이 포함됩니다. 예측 평가에는 동영상 품질과 손 영역 비교가 포함되며, 논문은 Fréchet Video Distance (FVD)와 intersection over union (IoU) 등의 지표를 설명합니다.

계획 평가는 17개 작업 범주를 포함했습니다. 사람 평가 연구에서는 각 모델이 188개의 동영상을 생성했으며, 각 동영상은 초당 16 프레임으로 구성된 81개 프레임을 포함했습니다. 평가자는 다섯 가지 항목을 1–5점 척도로 채점했고, 별도의 시각-언어 모델 평가에서는 생성된 동영상을 채점했습니다. 제공된 내용에는 평가 설정은 설명되어 있지만, 사람 평가의 종합 결과는 제시되어 있지 않습니다.

실물 로봇 테스트는 또 다른 종류의 근거를 제공합니다. 생성된 조작 시퀀스 두 개를 로봇 궤적으로 변환해 실제 환경에서 재생했습니다. 논문은 시연을 보고하지만, 제공된 내용에는 수치화된 성공률이 제시되어 있지 않습니다.

P3-WAM은 어떻게 작동하나요?

P3-WAM은 사전 학습된 동영상 생성 백본을 기반으로 합니다. 동영상 프레임은 내부적으로 압축된 시각 데이터로 표현되고, 관측된 손과 카메라 상태는 간결한 액션 토큰으로 인코딩됩니다. 고정된 액션 인코더는 프레임마다 세 개의 토큰을 생성합니다. 카메라용 하나, 왼손용 하나, 오른손용 하나입니다. 손 스켈레톤과 카메라 광선 맵은 동작과 이미지의 정렬을 돕는 공간 정보를 제공합니다.

트랜스포머 혼합 아키텍처를 통해 동영상과 동작 정보가 공유 어텐션으로 상호작용합니다. 쉽게 말해, 모델은 동작을 추정할 때 시각적 맥락을 활용하고 장면의 변화를 예측할 때 동작 맥락을 활용할 수 있습니다. 학습 중에는 모달리티의 가시성을 무작위로 바꿔, 동영상이나 동작 정보의 일부가 관측되거나 누락된 다양한 조합을 모델에 학습시킵니다. 이를 통해 하나의 프레임워크에서 세 가지 작동 모드를 지원할 수 있습니다.

생성 단계에서 모델은 동영상과 동작을 서로 다르게 처리합니다. 인식 모드에서는 관측된 동영상을 읽고 한 번에 전체 동작 시퀀스를 예측합니다. 예측 및 계획 모드에서는 관측된 프레임을 고정한 채 누락된 동영상 프레임을 반복적으로 생성하고, 이 과정과 함께 동작 궤적을 예측합니다. 그런 다음 디코더가 생성된 동영상 및 동작 표현을 실제 프레임, 손 동작, 카메라 움직임으로 변환합니다. 손 동작은 손 모양과 관절 움직임을 모델링하는 MANO로 표현됩니다.

계획에서는 목표 이미지가 텍스트 지시만으로는 명확하지 않을 수 있는 공간 정보를 제공합니다. 예를 들어 두 블록을 최종적으로 얼마나 떨어뜨려 놓아야 하는지 구체적으로 지정할 수 있습니다. 긴 작업은 여러 단계로 나눌 수 있으며, 계획 구간마다 시각적 하위 목표를 둘 수 있습니다. 그러면 모델은 현재 관측에서 해당 구간의 목표까지 이어지는 동영상과 움직임을 생성합니다.

시각적 목표 이미지는 조작 계획에서 목표 물체의 위치를 지정하는 데 도움을 줍니다

로보틱스에서 왜 중요한가요?

작은 물체를 다루는 로봇에는 그럴듯해 보이는 동영상이나 손 자세 시퀀스만으로는 부족합니다. 로봇은 보이는 대상과 연결된 동작, 장면이 어떻게 바뀔지에 대한 추정, 그리고 의도한 결과를 표현하는 방법이 필요합니다. P3-WAM은 이 요소들을 하나의 모델로 연결해, 조작 장면을 관찰하는 단계에서 이를 예측하거나 계획하는 단계로 나아가는 일을 더 쉽게 만들 수 있습니다.

시각적 목표를 사용하는 방식은 말로 된 지시가 충분히 구체적이지 않은 작업에서 특히 유용합니다. “블록을 떨어뜨려 놓으세요”라는 지시만으로는 정확한 간격이나 배치를 알 수 없지만, 이미지로는 지정할 수 있습니다. 긴 작업을 시각적 단계로 나누는 방식은 계획기가 시작 장면에서 최종 상태로 곧바로 이동하도록 하는 대신, 중간 목표를 표현하는 방법도 제공합니다.

로봇 시연은 생성된 사람 동작을 로봇 손에 적용하는 한 가지 경로를 보여줍니다. 동영상에서 물체와 장면의 움직임을 재구성하고, 손 움직임을 로봇에 맞게 변환한 뒤, 결과 궤적을 재생하는 방식입니다. 아직 피드백을 바탕으로 동작을 조정하는 완전한 로봇 제어기는 아니지만, 생성된 행동을 실제 물리적 실행에 적용할 수 있는지 시험합니다. 정교한 조작이 가능한 플랫폼을 살펴보는 팀은 Robot Overflow에서 휴머노이드 로봇을 둘러볼 수 있습니다.

한계와 아직 해결되지 않은 질문은 무엇인가요?

단안 동영상만으로는 절대 깊이를 신뢰성 있게 측정할 수 없으므로, 손의 전역 3D 위치를 추정하는 데는 본질적인 모호성이 있습니다. 논문은 더 강한 기하학적 정보를 추가할 방법으로 깊이 센서나 촉각 센서를 제시합니다. 이런 센서는 손과 물체의 접촉 및 거리에 대한 불확실성을 줄이는 데 도움이 될 수 있습니다.

실제 로봇 테스트는 개루프 실행 방식입니다. 로봇은 실행 중에 일어나는 상황에 대응해 조정하지 않고 계획된 궤적을 재생합니다. 따라서 작은 오차가 누적되거나, 예상치 못한 물체 움직임이 발생하거나, 접촉이 불완전할 경우 시스템이 영향을 받을 수 있습니다. 폐루프 피드백을 사용하면 작업이 진행되는 동안 수정할 수 있습니다.

시연은 실제 환경에서의 두 가지 실험에 그치며, 다양한 물체와 환경, 로봇 설계를 폭넓게 다루지는 않습니다. 제공된 내용에는 벤치마크 성능 향상이나 로봇 성공률의 수치도 없어, 보고된 개선의 규모와 신뢰성을 평가하기 어렵습니다. 이 접근법이 다양한 작업과 하드웨어에 얼마나 잘 적용되는지 확인하려면 추가 테스트가 필요합니다.