인간 동작·영상 50,000시간으로 확장되는 휴머노이드 기술

인간 동작·영상 50,000시간으로 확장되는 휴머노이드 기술

EngineAI

6 분 읽기•2026년 11월 22일

Awaken-HI는 인간 영상과 전신 동작을 바탕으로 휴머노이드 로봇을 학습한 뒤, 150시간의 로봇 원격조작 데이터로 그 경험을 로봇에 맞게 조정합니다. EngineAI T800에서 학습된 정책은 전신 과제 8개에서 평균 93.75%의 성공률을 기록했으며, 인간 데이터 규모가 클수록 가정 내 과제 수행 능력도 향상됐습니다. 로봇의 모든 동작을 일일이 시연해 수집하는 대신, 보행과 조작을 함께 가르칠 수 있는 실용적인 방법입니다.

목차

연구진은 무엇을 만들었나?

EngineAI의 Awaken-HI는 사람의 시연으로 학습을 시작한 뒤, 특정 로봇에 맞게 학습 내용을 조정하는 휴머노이드 로봇 훈련 시스템입니다. 기반 데이터셋인 Awaken-Human은 50,000시간의 1인칭 영상과 동기화된 인간 신체 움직임 기록을 짝지었습니다. 데이터에는 약 17.02 million개의 에피소드, 5.41 billion개의 포즈 프레임, 11.18 million개의 언어 지시가 포함됩니다.

사람들은 PICO 헤드셋과 신체 추적기 5개를 착용하고 시연을 녹화했습니다. 이 장비는 거리 추정에 도움이 되는 두 카메라 시점의 입체 영상과 신체 움직임을 함께 포착했습니다. 집, 직장, 상점, 창고를 배경으로 물건 들기, 선반에 물건 놓기, 옷 개기, 표면 닦기 등 100가지가 넘는 기술이 담겼습니다. 연속 녹화 영상에는 손을 사용하면서 걷고, 방향을 바꾸고, 몸을 낮추고, 위치를 조정하는 동작이 보존되어 있습니다.

연구진은 녹화 자료를 학습에 활용할 수 있도록 작업 구간 설명, 영상에서 재구성한 손 포즈, 추정된 장면 깊이 등의 라벨도 추가했습니다. 사람이 초기 작업 라벨을 검토했고, 품질이 낮은 손 관측 데이터는 걸러냈습니다. 이렇게 정제하고 정렬한 데이터로 로봇은 사람이 무엇을 했는지만이 아니라 동작, 물체, 지시가 어떻게 서로 연결되는지도 학습할 수 있습니다.

Awaken-Human 데이터셋의 인간 시연 및 물체 예시

Awaken-HI는 어떤 결과를 냈나?

가장 뛰어난 결과는 로봇에 맞춘 훈련을 거친 뒤 전신 과제 8개에서 기록한 평균 성공률 93.75%입니다. 과제에는 물체까지 걸어가기, 물체 집기, 선반에 놓기, 옷걸이에 옷 걸기, 빨래 바구니 옮기기가 포함됐습니다. 평가는 과제마다 10회씩 진행했으며, 각 방법에 동일한 시작 조건을 적용했습니다.

인간 사전 학습 데이터가 늘어나자 가정 내 과제 3개의 수행 능력도 향상됐습니다. 인간 시연 데이터가 5,000시간에서 50,000시간으로 늘면서 평균 성공률은 56.7%에서 90.0%로 올랐습니다. 물체의 목적지를 바꾸는 테스트에서 Awaken-HI는 산업용 지시 조합 변경 2개를 모두 성공적으로 수행했고, 가정용 지시 조합 변경 2개에서는 80%의 성공률을 보였습니다. 논문에 따르면 네 가지 테스트 모두에서 평가한 두 가지 시각-언어-행동 기준 모델보다 좋은 결과를 냈습니다.

Awaken-HI는 로봇 추가 학습 시연에 없었던 물체인 티슈와 약병도 다뤘습니다. 물체별 완료율은 각각 50%와 30%였고, 두 기준 모델은 두 물체 모두에서 0%를 기록했습니다. 이 테스트는 전이 능력이 향상됐음을 보여주지만, 낯선 물체를 다루는 일이 여전히 어렵다는 점도 드러냅니다.

평가 항목Awaken-HI 결과
개별 전신 과제 8개평균 성공률 93.75%
인간 사전 학습 5,000시간 후 가정 내 과제평균 성공률 56.7%
인간 사전 학습 50,000시간 후 가정 내 과제평균 성공률 90.0%
산업용 지시 조합 테스트 2개각각 성공률 100%
가정용 지시 조합 테스트 2개각각 성공률 80%
미관측 티슈 / 약병물체별 완료율 50% / 30%
미관측 티슈 / 약병에 대한 기준 모델0% / 0%
전신 보행 및 조작을 테스트하는 휴머노이드 과제 예시

Awaken-HI는 인간의 경험을 어떻게 로봇 동작으로 바꾸나?

Awaken-HI의 핵심 설계는 인간 동작과 로봇 동작을 함께 학습하는 것입니다. 인간과 로봇은 신체 비율이 다르기 때문에 사람의 포즈를 그대로 복사해도 로봇이 실행할 수 있는 동작이 되지는 않습니다. 따라서 시스템은 인간 시연을 EngineAI T800의 동작 공간으로 리타기팅하는 한편, 원래의 인간 동작도 두 번째 학습 목표로 유지합니다.

모델은 시각-언어 백본과 공유 동작 전문가를 결합합니다. 시각-언어 구성 요소는 카메라 이미지와 지시를 처리하고, 동작 전문가는 미래 시간 구간의 움직임을 예측합니다. 사전 학습 중에는 별도의 입력 및 출력 분기가 T800 동작, 원래의 인간 동작, 손목 포즈를 각각 나타냅니다. 동작 전문가는 공유되므로 세 종류의 동작 감독 정보가 모두 동일한 핵심 모델을 학습시킵니다. 깊이 예측을 추가해 거리와 물체 위치를 추론하도록 돕고, 언어 예측으로 현재 하위 과제를 식별합니다.

로봇에 적용하기 전, 사전 학습된 정책은 T800 원격조작 데이터 150시간으로 미세 조정됩니다. 이 데이터는 로봇의 관측 정보와 측정 상태를 원격 조작자가 시연한 동작과 짝지은 것입니다. 미세 조정을 통해 학습된 인간 동작 패턴을 로봇 자체의 신체와 제어 방식에 맞춥니다.

실제 작동 시 정책은 현재 관측 정보를 바탕으로 동작 시퀀스를 예측하고, 목표값을 T800의 하위 수준 제어기에 전달한 뒤 새로운 관측 정보가 들어오면 이 과정을 반복합니다. 이를 이동 지평선 제어라고 합니다. 로봇이 앞날의 동작을 계획하고 실행한 다음 계획을 갱신하므로, 하나의 긴 시퀀스를 정해진 대로 끝까지 수행하지 않습니다.

인간 동작, 로봇 동작, 시각 입력을 연결하는 Awaken-HI 학습 파이프라인

전신 사전 학습은 로보틱스에서 왜 중요한가?

유용한 휴머노이드 과제는 손동작만으로 이루어지지 않는 경우가 많습니다. 로봇은 물체에 다가가 몸의 방향을 잡고, 팔을 뻗거나 몸을 낮춰 물체를 조작한 다음, 때로는 물체를 든 채 이동해야 합니다. 연속적인 인간 시연으로 학습하는 Awaken-HI는 잡기나 걷기의 단편적인 순간이 아니라 이런 동작 전환이 어떻게 협응되는지 보여주는 사례를 얻습니다.

보고된 확장성 결과는 로봇 데이터 수집 비용을 따지는 팀에 특히 주목할 만합니다. Awaken-HI는 대규모 인간 시연으로 사전 학습한 뒤, 더 적은 양의 로봇별 데이터로 동작을 조정합니다. 가장 적은 인간 데이터와 가장 많은 인간 데이터를 사용했을 때 성공률이 56.7%에서 90.0%로 향상된 결과는 인간의 경험이 초기 워밍업을 넘어 기여할 수 있음을 시사합니다.

일반화 테스트도 운영 측면에서 유용한 신호를 제공합니다. 로봇은 익숙한 물체의 목적지가 달라지자 배치 동작을 조정했고, 기준 모델이 실패한 낯선 물체를 사용하는 과제 일부도 완료했습니다. 작업 공간이 바뀌는 상황에서 이런 유연성은 중요하지만, 임의의 물체나 환경에서도 안정적으로 수행할 수 있다는 점까지 입증한 것은 아닙니다.

플랫폼을 검토하는 팀은 Robot Overflow에서 휴머노이드 로봇을 둘러볼 수 있습니다. 창고 및 자재 취급 사례에는 비교해 볼 만한 관련 분류로 창고 로봇도 있지만, Awaken-HI는 휴머노이드 플랫폼에서 테스트됐습니다.

한계와 아직 풀리지 않은 문제는 무엇인가?

평가 대상은 휴머노이드 플랫폼 EngineAI T800 한 대에서 수행한 개별 과제 8개와 장기 과제 시퀀스 2개입니다. 각 테스트의 보고된 시행 횟수는 과제 또는 지시 테스트당 10회로 적기 때문에, 더 다양한 물체, 환경, 작동 조건에서 성능이 어떻게 달라지는지는 알 수 없습니다. 제공된 결과에는 모든 과제에 대한 기준 모델의 정확한 성공률도 제시되지 않아 일부 비교는 정량화하기 어렵습니다.

낯선 물체에 대한 결과는 고무적이지만 제한적입니다. 완료율은 티슈에서 50%, 약병에서 30%였습니다. 또한 이 접근법에는 착용형 추적기, 입체 영상, 주석 작업, 로봇 원격조작 150시간을 포함한 상당한 데이터 인프라가 필요합니다. 학습한 기술이 다른 휴머노이드에 얼마나 잘 전이되는지, 예상치 못한 변화에 대응할 수 있는지, 장기간 운용 중에도 안전하게 작동하는지를 확인하려면 추가 테스트가 필요합니다.

Awaken-HI에 대해 팀이 알아야 할 점은?

Awaken-HI는 로봇 시연 데이터만으로 학습하나요? 아니요. 먼저 인간 영상과 동작으로 학습한 뒤, T800 원격조작 데이터 150시간으로 미세 조정합니다.

로봇은 어떤 과제를 수행했나요? 테스트에는 물체까지 걷기, 물체 집기와 놓기, 선반에 물품 채우기, 옷걸이에 옷 걸기, 빨래 바구니 옮기기가 포함됐습니다.

인간 데이터가 늘면 성능이 좋아졌나요? 네. 가정 내 과제 3개에서 보고된 평균 성공률은 인간 시연 5,000시간을 사용했을 때 56.7%에서 50,000시간을 사용했을 때 90.0%로 상승했습니다.

시스템은 한 번도 본 적 없는 물체도 다룰 수 있나요? 로봇 추가 학습에 없었던 물체 2개를 사용한 일부 시행을 완료했으며, 두 기준 모델은 해당 물체에서 모두 0점을 기록했습니다. 다만 완료율은 여전히 제한적이었습니다.

핵심 요점은 무엇인가?

Awaken-HI는 대규모 인간 동작 데이터를 활용해 휴머노이드가 보행과 조작을 협응하도록 돕고, 로봇 원격조작을 통해 그 기술을 조정할 수 있음을 보여줍니다. 테스트한 과제에서는 높은 성과를 냈지만, 더 폭넓은 전이와 낯선 물체를 안정적으로 다루는 능력은 여전히 해결해야 할 과제입니다.