단 한 번의 인간 시연으로 일반화 가능한 정교한 로봇 조작 학습 (2026)

정교한 조작은 로봇이 복잡한 물체 상호작용을 수행하게 하는 유망한 방향이지만, 고품질 로봇 시연 데이터를 충분히 수집하는 일은 여전히 큰 병목입니다. 자유도가 높은 손의 경우 원격 조작 인터페이스를 설계하고 운용하는 비용이 특히 크며, 수집된 동작은 특정 로봇의 형태에 종속됩니다. 인간 영상은 로봇이나 원격 조작 장비 없이도 쉽게 수집할 수 있고 손과 물체의 상호작용에 관한 풍부한 시각적·운동학적 정보를 담고 있어 이 병목을 해결할 방법을 제공합니다. 최근에는 단 하나의 인간 영상만으로 정교한 조작을 학습하는 연구가 진행되고 있습니다.

서론

그러나 이러한 단일 영상 기반 방법은 대부분 영상을 재구성한 물체 궤적, 로봇 손에 맞게 변환한 손동작, 접촉 단서 등 실행 단계의 안내 정보로 변환합니다. 이런 정보는 고차원 정교 조작 정책의 학습을 돕지만, 학습된 정책을 영상에 나타난 동작과 공간 배치에 종속시키기도 합니다. 같은 작업이라도 영상에 나오지 않은 초기 물체 자세, 목표 자세, 파지 방식에는 일반화 성능이 낮습니다.

영상에 나온 실행을 넘어 일반화하는 정교 조작 정책을 학습하려면 긴밀히 연결된 두 가지 과제를 해결해야 합니다. 첫 번째는 작업 추상화입니다. 영상에서 무엇을 보존하고 무엇을 자유롭게 바꿀 수 있도록 할지 결정해야 합니다. 너무 많은 정보를 보존하면 정책은 기록된 동작을 재생하는 데 그치고, 너무 적게 보존하면 작업이 불충분하게 정의됩니다. 두 번째는 어려운 탐색 문제입니다. 자유롭게 바꿀 수 있는 요소가 많을수록 정책이 탐색해야 하는 상태 공간도 커집니다. 실행 단계의 안내 정보가 없으면 강화학습(RL)은 이 고차원 공간에서 여러 손가락을 사용하는 접촉 중심 상호작용을 발견하기 어려우며, 특히 여러 단계로 구성된 작업에서 더 큰 어려움을 겪습니다.

두 과제를 해결하기 위해 단 하나의 인간 영상으로부터 일반화 가능한 정교 조작 정책을 학습하는 실물-시뮬레이션-실물 프레임워크 Dex-One2Many를 제안합니다. 핵심 아이디어는 영상의 동작이 아니라 작업 구조를 추출하는 것입니다. 즉, 손과 물체 또는 물체끼리 어떤 관계를 어떤 순서로 유지해야 하는지를 명시하는 단계별 장면 그래프를 만들고, 손의 동작은 강화학습이 학습하도록 합니다. 이를 위해 두 가지 기법을 소개합니다.

첫째, 단계별 장면 그래프 추상화는 손이 물체를 잡거나 물체가 용기 안에 놓이는 것과 같이 작업에 필요한 관계와 그 발생 순서만 남기도록 영상을 축약합니다. 물체 자세, 목표 자세, 파지 방식은 자유롭게 바뀔 수 있습니다. 이 추상화는 관계가 바뀌는 지점에서 영상을 여러 단계로 나누고, 각 단계를 손, 물체, 기능 부품에 관한 술어 그래프로 표현합니다. 각 단계 그래프는 기록된 하나의 상태가 아니라 작업을 보존하는 여러 상태의 집합을 나타냅니다.

둘째, 장면 그래프 기반 강화학습은 각 단계 그래프를 생성 제약 조건으로 사용합니다. 그래프에 명시된 관계를 만족하는 초기 상태를 다양한 다지 파지 방식과 함께 샘플링한 뒤, 시뮬레이션 검증을 통과한 상태만 남깁니다. 따라서 하나의 영상으로 작업 공간 전반의 여러 학습 상태를 생성할 수 있습니다. 채택된 상태는 마르코프 결정 과정(MDP)의 초기 상태 분포를 구성하며, 이 MDP의 관측값과 보상은 그래프에서 도출됩니다. 모든 단계에서 에피소드를 시작하면 탐색이 쉬워집니다. 정책은 우연히 마지막 단계에 도달하기를 기다리는 대신, 첫 단계를 익히기 전에 마지막 단계를 연습할 수 있습니다. 각 단계에서는 술어에서 도출한 보상을 통해 단계의 관계를 만족하기까지의 진행 상황을 촘촘하게 알려주며, 시연 궤적을 참조하지 않습니다. 따라서 정책은 기록된 실행이 아니라 작업 구조를 학습합니다.

시뮬레이션에서만 학습한 정책은 실제 다지 로봇 손에서 시연된 작업을 제로샷으로 완료하며, 영상에 나오지 않은 초기 및 목표 물체 자세에도 대응합니다. 20-DoF Wuji 1 손을 장착한 UR3 팔에서 직접 물체를 조작하는 작업과 도구 사용 작업을 아우르는 다섯 가지 작업을 평가합니다. 영상에 나오지 않은 초기 및 목표 자세의 조건에서 Dex-One2Many는 실제 환경에서 60–85%의 성공률을 달성한 반면, 기준 방법의 성공률은 15% 이하에 머물렀습니다.

주요 기여는 다음과 같습니다.

단계별 장면 그래프 추상화: 인간 시연을 작업을 규정하는 구조, 즉 필요한 손-물체 및 물체-물체 관계와 그 순서는 유지하면서 실행에만 해당하는 동작은 제거하는 단계별 장면 그래프로 표현합니다.
장면 그래프 기반 강화학습: 각 단계의 장면 그래프를 사용해 작업 전반에 걸친 다양한 초기 상태를 생성합니다. 이를 통해 정책은 대안적인 파지 방식과 동작을 탐색하고, 관측값과 보상은 그래프에 기반을 둡니다.
미관측 조건에서의 제로샷 시뮬레이션-실제 전이: 다섯 가지 실제 작업에서 단일 인간 영상으로 학습한 정책은 입력 영상에 나오지 않은 조건에서 평균 75%의 성공률을 달성하여, 다음으로 우수한 기준 방법보다 71%포인트 높은 성능을 보입니다.

단계별 장면 그래프 추상화

인간 영상은 어떤 관계를 어떤 순서로 유지해야 하는지는 보존하면서 물체 자세, 목표 자세, 파지 방식, 궤적은 바뀔 수 있도록 단계별 장면 그래프의 시퀀스로 추상화합니다. 각 그래프는 작업의 한 단계를 나타냅니다. 노드는 손, 작업과 관련된 물체, 그리고 물체의 기능 부품을 식별하고, 간선은 해당 단계의 특징을 나타내는 관계를 기술합니다. 같은 작업을 서로 다른 조건에서 수행하면 자세와 궤적은 달라질 수 있지만, 필요한 관계와 그 순서는 동일하게 유지됩니다. 이 추상화를 단계별 장면 그래프 추상화라고 합니다.

실험

Dex-One2Many를 시뮬레이션과 실제 하드웨어에서 평가합니다. 실험에서는 다음 세 가지 질문을 살펴봅니다.

Dex-One2Many는 단일 인간 영상에 나오지 않은 초기 및 목표 조건에도 일반화되는가?
Dex-One2Many는 운동학이 서로 다른 다양한 정교 조작 로봇 형태에 적용되는가?
Dex-One2Many의 어떤 설계 선택이 성능에 핵심적인가?

실험 설정

작업. 직접 물체 조작과 도구 사용을 아우르는 다섯 가지 조작 작업에서 Dex-One2Many를 평가합니다. 직접 조작 작업인 Doll, Can, Stamp에서는 로봇이 물체를 잡아 목표 조건으로 옮겨야 합니다. 도구 사용 작업인 Hammer와 Sweep에서는 로봇이 도구를 잡고 조작하여 다른 물체와 상호작용해야 합니다.

하드웨어 설정. 실제 실험은 모두 20-DoF Wuji 1 정교 손을 장착한 6-DoF UR3 로봇 팔에서 수행합니다. Intel RealSense D435i RGB-D 카메라 두 대가 서로 다른 시점에서 작업 공간을 촬영합니다. 이 관측 정보를 바탕으로 FoundationPose++를 사용해 물체 자세를 추정합니다.

기준 방법. 단일 인간 영상으로부터 정교 조작을 학습하는 기존 방법 두 가지와 Dex-One2Many를 비교합니다. 두 방법은 인간 시연에서 어떤 정보를 추출하고 이를 정책 학습에 활용하는 방식이 서로 다릅니다. Do as I Do는 손과 물체의 4D 상호작용을 재구성한 뒤, 궤적 최적화를 통해 복원된 인간 손동작을 로봇에 맞게 변환합니다. CHORD는 시연된 물체 상태의 변화를 모방 보상으로 사용하고, 로봇이 시연 궤적을 재현하도록 유도하는 접촉-렌치 안내 정보를 더합니다.

인간 영상 너머로의 일반화

기준 방법은 시연된 손이나 물체의 동작에서 실행 단계의 안내 정보를 도출하며, 이 정보는 영상에서 관찰된 실행에 종속됩니다. 반면 Dex-One2Many는 단계별 장면 그래프를 다양하고 작업에 부합하는 학습 상태의 생성 제약 조건으로 사용합니다. 이에 따라 정책은 시연된 실행을 넘어 서로 다른 조건에서도 동일한 작업 구조를 학습할 수 있습니다.

설계 선택과 평가 프로토콜

모든 절제 실험은 Sweep 작업을 대상으로 시뮬레이션에서 수행합니다. 성공 여부는 빈손으로 시작하는 전체 작업 에피소드에서 측정합니다. Dex-One2Many의 두 가지 측면, 즉 각 학습 구성 요소의 기여와 학습 규모의 영향을 살펴봅니다. 구성 요소 절제 실험에서는 다른 모든 학습 설정을 그대로 둔 채 한 번에 구성 요소 하나만 제거합니다. 학습 규모 분석에서는 PPO 학습에 사용하는 병렬 환경의 수만 변경합니다.

술어 어휘

술어 어휘는 탁상 조작에서 흔히 나타나는 관계를 다룹니다. 각 기하 술어에는 접근 중인 상태를 나타내는 형태도 있으며, 관계가 성립되기 전 접근 중인 상태에 접두사 pre-를 붙여 표시합니다.

관측값

장면 그래프는 작업과 관련된 개체, 개체의 역할, 관계, 기능 영역을 식별합니다. 시연 속 손을 로봇 엔드이펙터에 대응시키고, 나머지 물체는 작업에서의 역할에 따라 지정합니다. 직접 조작에서는 관측값에 엔드이펙터, 조작 대상 물체, 수용 물체가 포함됩니다. 도구 사용 조작에서는 손에 든 물체가 도구가 되며, 추가로 작용 대상(상호작용 대상) 물체가 포함됩니다.

물체 및 기능 부품 노드는 물체 크기, 파지 영역, 작업 표면과 같은 국소 기하 정보를 제공합니다. 기능 부품은 상호작용에서의 역할에 따라 손이나 다른 물체와 연결됩니다. 파지 영역은 중심과 경계 상자 크기로 표현하고, 작업 표면은 중심, 표면의 단위 법선 벡터, 표면 크기로 표현합니다.

각 장면 그래프 간선은 연결된 개체 사이의 상대 6D 자세 정보를 제공합니다. 중요한 점은 이 상대 자세가 간선으로 표현된 술어에 따라 정의된다는 것입니다. 술어는 술어 거리 함수에 사용되는 것과 동일한 특징 정의를 따르며, 두 개체의 어떤 기하 특징을 사용할지 결정합니다. 따라서 간선은 단순히 두 물체의 중심이 아니라 물체 중심, 기능 영역 또는 술어에 따라 정해지는 다른 특징을 연결할 수 있습니다. 모든 노드, 부품, 간선 특징을 연결해 정책 관측값을 구성합니다.

미관측 초기 물체 위치로의 일반화

인간 영상에 나오지 않은 조건에 대한 공간 일반화를 더 자세히 분석하기 위해 목표 조건은 고정하고, 실현 가능한 작업 공간 내에서 초기 물체 위치를 변경합니다. 초기 위치 일반화는 다섯 가지 작업에서 평가합니다.

다양한 로봇 형태와 조건에서의 파지 전략

인간 영상에서 추출한 작업 명세는 특정 파지 구성을 지정하지 않습니다. 대신 초기 상태 생성 파이프라인을 통해 33종 파지 분류 체계에 속하는 다양한 다지 파지 방식으로 정책을 학습시킵니다. 이에 따라 파지 전략은 로봇 형태와 현재 물체 조건에 맞게 조정될 수 있습니다.

결론, 한계 및 향후 연구

Dex-One2Many는 미관측 조건 전반의 일반화 성능을 크게 높이고 다양한 손 형태에 적용되지만, 여전히 몇 가지 한계가 있습니다. 첫째, 실제 환경에 배포할 때 추정된 6D 물체 자세에 의존하기 때문에 시뮬레이션과 실제 환경 사이의 차이가 남아 있습니다. 자세 추정의 잡음과 시뮬레이션 및 실제 물체 기하의 차이는 정책 성능을 저하시킬 수 있으며, 특히 접촉 중심 상호작용에서 큰 영향을 미칩니다.

둘째, 실물-시뮬레이션 변환 파이프라인은 강체 물체만 재구성하므로 관절형 물체에는 수작업으로 만든 에셋이 필요합니다. 단일 영상만으로는 관절 위치, 축, 관절 한계와 같은 기본 관절 구조를 알아내기 어려울 수 있으므로, 실물에서 시뮬레이션으로의 자동 재구성은 여전히 어렵습니다. 제약 없는 영상에서 이러한 구조적 운동학을 직접 추론하는 일은 중요한 향후 연구 방향입니다.

감사의 글

본 연구는 한국 정부(MSIT)가 지원하는 정보통신기획평가원(IITP) 과제 [No. RS-2021-II211343, 인공지능 대학원 프로그램(서울대학교)], 산업통상자원부(MOTIE, Korea)가 지원하는 기술혁신사업(RS-2025-25453780, 다중 작업 적용을 위한 국가 휴머노이드 AI 로봇 기반 모델 개발), 그리고 Samsung Electronics Robotics eXperience (RX)의 일부 지원을 받았습니다. 실제 실험에 사용한 Wuji 1 손을 제공해 주신 Tommoro Robotics의 Jinu Pahk 및 Kangin Lee께 감사드립니다.