Social Humanoid는 Unitree G1이 개별 동작을 단순히 재생하는 대신, 주변 사람에게 전신으로 협응된 반응을 생성하도록 합니다. 이 시스템은 260시간 분량의 인간-휴머노이드 상호작용 벤치마크, 인간-인간 상호작용 영상을 로봇 신체에 맞게 변환하는 방법, 그리고 로봇에서 실행되는 생성 모델을 결합합니다. 시뮬레이션과 실제 G1에서 진행한 시연에서는 사람과 호응하는 반응을 보여 줍니다.
목차
- 연구진은 무엇을 만들었나요?
- Social Humanoid는 어떤 성과를 거두었나요?
- 시스템은 어떻게 작동하나요?
- 로봇공학에서 이 연구가 중요한 이유는 무엇인가요?
- 한계와 미해결 과제는 무엇인가요?
- Social Humanoid에 관해 자주 묻는 질문은 무엇인가요?
- 핵심 요약은 무엇인가요?
연구진은 무엇을 만들었나요?
Social Humanoid는 사람과의 상호작용에 반응해 Unitree G1의 전신 동작을 생성하는 시스템입니다. 목표는 사회적·물리적 상호작용입니다. 즉, 로봇이 단순히 동작을 인식하거나 독립적으로 움직이는 것이 아니라, 로봇과 사람이 위치를 맞추고 접촉할 수도 있는 상황에서의 움직임을 구현합니다.
시스템은 세 가지 주요 요소로 구성됩니다. 첫째, Adaptive-HHI Retargeting 방법은 인간-인간 상호작용 기록을 인간-휴머노이드 동작 쌍으로 변환합니다. 리타게팅은 비율과 관절 구조가 서로 다른 신체 사이에서 움직임을 옮기는 것을 뜻합니다. 둘째, 공유 코드북을 사용하는 VQ-VAE가 두 신체의 움직임을 공통된 이산 동작 단위로 변환합니다. 셋째, Diffusion Forcing Transformer가 이 표현을 이용해 사람의 움직임을 조건으로 휴머노이드의 반응을 생성합니다. 생성된 동작은 SONIC을 통해 G1에서 실행됩니다.
연구진은 사람 조작자의 움직임으로 공유 동작 표현을 통해 휴머노이드를 구동하는 실시간 섀도 텔레오퍼레이션도 설명합니다. 시스템과 260시간 분량의 HHI Benchmark는 함께 기본적인 개발 과제를 다룹니다. 사회적 휴머노이드를 개발하려면 사람과 로봇 간 상호작용 사례가 필요하지만, 이런 기록은 인간-인간 동작 데이터에 비해 부족합니다.
Social Humanoid는 어떤 성과를 거두었나요?
보고된 성과는 시뮬레이션과 실제 Unitree G1에서 사람의 움직임에 맞춰 협응된 반응을 생성하는 파이프라인을 구현한 것입니다. 연구진은 다양한 유형의 상호작용을 처리한다고 보고하고, 사회적 휴머노이드 시스템의 학습과 평가를 위한 자료로 260시간 분량의 HHI Benchmark를 제시합니다. 로봇이 포함된 상호작용 데이터는 이러한 연구의 핵심 병목이므로, 벤치마크의 규모는 주목할 만합니다.
이 접근법은 단순한 동작 전달에서 발생하는 특정한 실패도 해결하려 합니다. 사람의 자세를 비율이 매우 다른 로봇에 옮기면 접촉 지점이 달라질 수 있습니다. 예를 들어 G1은 원래 동작의 사람보다 키가 작기 때문에, 포옹할 때 상대방의 손이 로봇의 어깨보다 위에 놓일 수 있습니다. 연구진의 2단계 리타게팅 과정은 접촉과 두 사람 사이의 공간적 관계를 유지하기 위해 상대방의 자세뿐 아니라 로봇의 자세도 조정합니다.
공개된 결과에는 수치화된 성공률, 지연 시간 측정치, 이전 시스템 대비 성능 향상 폭이 제시되어 있지 않습니다. 따라서 여기 제시된 정보만으로는 단일 점수를 기준으로 Social Humanoid를 다른 방법과 비교해 순위를 매길 수 없습니다. 이 시스템이 보여 준 기여는 상호작용을 보존하는 데이터 생성, 공유 동작 표현, 실제 로봇에서의 실행을 결합한 것입니다.
시스템은 어떻게 작동하나요?
파이프라인은 인간-인간 상호작용 영상에서 시작합니다. 신체의 키와 팔다리 길이, 관절 구조가 서로 다르므로 한 사람의 관절 위치를 휴머노이드에 직접 대응시키는 방식은 신뢰하기 어렵습니다. 리타게팅 방법은 상호작용 자체를 유지하도록 설계되었습니다. 즉, 참가자들이 어디서 접촉하는지, 자세가 서로 어떤 관계를 이루는지, 그리고 서로에 대해 어떤 위치에 있는지를 보존합니다.
리타게팅은 두 단계로 진행됩니다. 첫 번째 단계에서는 한 사람의 움직임을 휴머노이드에 맞게 조정하고, 다른 사람은 그대로 둡니다. 이 과정에서 접촉이 어긋날 수 있습니다. 예를 들어 상대방이 키가 더 작은 G1보다 훨씬 높은 곳에 손을 뻗을 수 있습니다. 두 번째 단계에서는 리타게팅된 로봇에 맞춰 상대방의 자세를 조정합니다. 팔이 접촉하는 프레임에서는 목표 위치에 팔다리를 놓을 관절 각도를 구하는 방법인 역기구학을 사용해 상대방의 어깨, 팔꿈치, 손목을 조정합니다. 접촉이 상당한 구간에서는 신체 자세 최적화도 적용합니다. 이때 손목, 가슴, 목, 엉덩이, 척추, 무릎을 비롯한 주요 신체 부위를 조정하면서 사람의 관절 한계를 준수합니다.
각 영상은 상호작용에서 두 역할을 서로 바꿔 다시 리타게팅되므로, 데이터는 상호작용 양쪽의 움직임을 모두 담습니다. 이렇게 만들어진 사람과 휴머노이드의 움직임은 공유 코드북 VQ-VAE로 인코딩됩니다. 쉽게 말해, 모델은 두 신체의 움직임을 학습된 공통 동작 단어로 표현합니다. 이어서 Diffusion Forcing Transformer가 이 공유 공간에서 사람을 상대하는 휴머노이드의 동작을 생성합니다. SONIC은 생성된 동작을 로봇에 전달하며, 동일한 공유 표현은 섀도 텔레오퍼레이션도 지원합니다.
로봇공학에서 이 연구가 중요한 이유는 무엇인가요?
사회적으로 반응하는 로봇은 사람이 있다는 사실을 감지하는 것만으로는 충분하지 않습니다. 적절한 거리를 두고 다가가거나, 자세를 조율하거나, 접촉 중에도 서로의 위치를 유지하는 등 상호작용에 맞는 방식으로 움직여야 합니다. 이러한 역량은 지원, 협업 작업, 시연 등 로봇이 사람 가까이에서 일하는 환경에서 중요합니다. 이 연구는 수작업으로 동작을 일일이 지정하는 데만 의존하지 않고, 기록된 사람의 상호작용을 통해 이런 행동을 학습하는 방법을 제시합니다.
핵심적인 엔지니어링 통찰은 사회적 행동이 두 신체의 관계에 달려 있다는 점입니다. 로봇의 자세가 그럴듯해 보여도, 사람과 비율이 다르기 때문에 손을 잘못된 곳에 뻗거나 접촉을 끊을 수 있습니다. 로봇과 상대방의 동작을 모두 조정하면 실제 상호작용의 공간적 관계를 더 잘 반영하는 학습 사례를 만들 수 있습니다.
이 연구는 상호작용 중심 응용 분야에 사용할 플랫폼을 평가하는 휴머노이드 개발자에게도 관련이 있습니다. Robot Overflow의 휴머노이드 로봇 마켓플레이스에서 이용 가능한 휴머노이드 시스템을 살펴볼 수 있습니다. Social Humanoid는 연구 시스템이며, G1이 감독 없이 공공장소에서 상호작용할 준비가 되었다는 근거는 아닙니다. 이 연구의 가치는 데이터 생성과 동작 생성을 실제 플랫폼에서 연결하는 방법을 보여 준다는 데 있습니다.
한계와 미해결 과제는 무엇인가요?
시스템은 리타게팅된 기록에 의존하며, 접촉을 보존하는 방법은 부자연스러운 사람의 자세를 만들지 않으면서 신체 형태의 큰 차이를 처리해야 합니다. 저자들은 관절 한계와 신체 자세 조정을 설명하지만, 보고된 자료에는 다양한 상호작용이나 신체 유형에서 리타게팅이 얼마나 자주 성공하는지 정량화되어 있지 않습니다.
실제 로봇 시연은 이 접근법을 G1에서 실행할 수 있음을 보여 주지만, 그것만으로 장기간 운용이나 다양한 환경, 예측하기 어려운 상대방과의 상황에서도 안전하고 신뢰성 있게 작동한다고 입증되지는 않습니다. 물리적 접촉은 힘 제어, 충돌 회피, 상호작용이 갑자기 바뀔 때 로봇이 어떻게 반응해야 하는지에 대한 질문도 제기합니다. 추가 평가에서는 동작 품질, 접촉 정확도, 반응 시점, 안전성, 사람의 편안함을 명확한 지표로 측정해야 합니다. 이전 시스템과의 수치 비교를 통해 이 방법이 가장 큰 개선을 제공하는 부분도 더 분명히 할 수 있습니다.
Social Humanoid에 관해 자주 묻는 질문은 무엇인가요?
Social Humanoid는 어떤 로봇을 제어하나요? 이 시스템은 Unitree G1 휴머노이드의 전신 동작을 생성하고 실행합니다.
260시간 분량의 HHI Benchmark는 무엇인가요? 이 시스템과 함께 소개된 인간-휴머노이드 상호작용 벤치마크입니다. 공개된 요약에는 데이터의 전체 구성은 자세히 설명되어 있지 않으며, 지속 시간만 명시되어 있습니다.
로봇의 신체 비율이 다른 문제는 어떻게 처리하나요? 먼저 로봇 동작을 리타게팅한 다음, 관절 한계를 준수하면서 사람 상대방의 자세를 조정해 접촉과 상호작용의 공간적 관계를 복원합니다.
실제 로봇에서도 작동하나요? 네. 연구진은 시뮬레이션과 실제 G1에서 시연했다고 보고합니다. 다만 공개된 자료만으로는 광범위한 무감독 운용에서의 성능이 입증되지 않았습니다.
핵심 요약은 무엇인가요?
Social Humanoid는 상호작용을 고려한 동작 데이터, 사람과 로봇을 위한 공유 표현, 실제 휴머노이드의 생성형 전신 제어를 연결합니다. 핵심 기여는 사람의 상호작용 동작을 신체가 다른 로봇에 맞게 조정하면서 접촉과 상대적 위치를 보존하는 실용적인 방법입니다.