모든 방법에 대해 기준 동작을 동일한 29-DoF 휴머노이드 qpos 표현으로 변환한 뒤, 공통 MuJoCo 평가 진입점을 통해 정책을 실행한다. 각 트래커는 고유한 정책 관측값과 액션 디코더를 그대로 사용하며, 평가기는 모션 목록, 로봇 모델, 기준 동작 인덱싱, 롤아웃 집계 방식, 평가 지표 구현만 표준화한다.
표준화된 트래커 평가
제어 궤적은 50Hz로 기록한다. 평가기는 매 스텝마다 시뮬레이션된 일반화 위치와 속도, 정책 액션과 모터 목표값, 발 접촉 및 접촉력, 발과 골반의 속도, 14개 키포인트의 위치와 공간 속도를 저장한다. 기존 진단 지표와 HumanScore에는 동일한 상태 이력을 사용하므로, 후처리 방식의 차이가 트래커 간 성능 차이로 잘못 해석되는 것을 막을 수 있다.
SONIC을 포함한 모든 트래커에 동일한 트래킹 지표와 성공 기준을 적용한다. 이 지표는 골반, 양쪽 발목, 양쪽 손목의 수직 위치 오차와 골반 회전 오차를 측정한다. 수직 오차가 하나라도 0.25m를 초과하거나, 골반 회전 오차가 1rad를 초과하거나, 일반화 위치 또는 속도에 유한하지 않은 값이 포함되면 해당 에피소드는 실패로 처리한다.
Succ는 완료된 에피소드의 비율로, MPJPE는 각 롤아웃에서 실제로 실행된 구간에 대해 29개 작동 관절각의 평균 절대 오차를 라디안 단위로 보고한 값이다. 추가 진단 지표로는 관절 속도 오차, 키포인트 위치 오차, 발 접촉 일치도, 유한차분으로 계산한 관절 가속도와 저크가 있다. 보고된 모든 벤치마크 수치는 HumanTracker 테스트 분할을 사용한다.
선호 데이터 구축
선호 데이터 풀은 HumanTracker 학습 분할의 모션만으로 구성하므로, HumanScore 학습에 벤치마크 테스트 모션은 사용하지 않는다. 각 원본 모션에 대해 GMT, Humanoid-GPT, SONIC, TWIST2가 동일한 로봇 공간 기준 동작에 맞춰 정렬된 롤아웃을 생성한다.
각 롤아웃은 50Hz에서 연속된 250프레임 윈도로 나뉘며, 각 윈도는 5초에 해당한다. 롤아웃이 짧은 윈도로 끝나는 경우에도 마지막 짧은 윈도를 그대로 유지한다.
HumanScore
프레임 벡터를 선형 투영하고 정규화한 뒤 사인파 위치 인코딩을 더해 Transformer 인코더에 입력한다. 모든 어텐션 레이어에는 패딩 마스크를 적용한다. 유효한 출력 토큰의 원소별 평균을 궤적 표현으로 만들고, MLP가 이를 스칼라 보상으로 변환한다.
유지된 마지막 구간에도 동일한 마스크를 사용한다. 250프레임보다 짧은 구간은 오른쪽을 0으로 패딩하며, 유효성 마스크는 어텐션과 시간축 풀링 모두에서 패딩 위치를 제외한다. 따라서 패딩으로 인한 인공적인 효과 없이 완전한 윈도와 잘린 윈도를 동일한 모델로 처리할 수 있다.
HumanScore 계산
그런 다음 각 윈도가 나타내는 실제 프레임 수에 따라 윈도 보상에 가중치를 주어 평균을 계산한다.
인간 선호도 비교
HumanScore는 개별 분석 진단 지표보다 인간의 선호도와 더 일관되게 일치한다. 기존 지표는 자세, 속도 또는 접촉의 충실도를 각각 따로 측정하지만, 주석자들은 인간다운 움직임, 부드러움, 안정성, 그리고 시간이 흐르면서 오차가 어떻게 전개되는지도 함께 고려한다. 기존 지표의 낮은 일치도는 인간의 판단에 반영된 전체 궤적 품질을 단일 진단 지표만으로는 포착하기 어렵다는 점을 보여준다.
이 비교는 분포에 따른 편법적 요인의 영향도 배제한다. 테스트 세트를 원본 모션별로 그룹화해 동일한 시퀀스에서 나온 인접 클립이 서로 다른 분할에 들어가지 않도록 했다. 각 모션군 내부에서 일치도를 평균내므로, 표본이 더 많은 Daily와 Interaction이 Ground와 Highly Dynamic에서의 성능을 가리는 일도 없다. 트래커 조합은 구성 단계에서 균형을 맞췄기 때문에, 결과가 특정 모션군이나 트래커 조합의 우세로 설명될 수 없다.
민감도 분석
측정된 접촉 특징을 제거하면 Ground에서 성능이 가장 뚜렷하게 저하된다. 이는 복잡한 접촉 전이가 있는 모션에서 접촉 정보가 중요하다는 뜻이다. 미래 기준 동작 정보를 추가하면 기준선보다 성능이 소폭 낮아지는데, 이는 이 추가 신호의 이점이 제한적이며 활용하기도 어렵다는 점을 시사한다. 액션의 품질을 평가하는 데는 현재 상태와 과거 상태만으로 충분하다.
더 긴 문맥을 사용하면 한 프레임의 자세만으로는 포착할 수 없는 발 미끄러짐, 떨림, 드리프트, 불안정성 회복을 드러낼 수 있어 정렬 성능이 향상된다. 사용 가능한 문맥이 1초에서 5초로 늘어날수록 정렬 성능도 꾸준히 좋아진다.
짧은 구간은 순간적인 자세 오차를 포착하는 반면, 긴 문맥은 발 미끄러짐, 반복적인 떨림, 점진적인 드리프트, 불안정성에서의 회복처럼 시간이 지나며 나타나는 문제를 드러낸다. 따라서 HumanScore는 모션을 프레임 단위로 평가하기보다 시간에 걸쳐 서로 보완적인 증거를 통합함으로써 더 나은 성능을 보인다.
결론
휴머노이드 모션 트래킹을 평가하기 위한 대규모 벤치마크와 인간 정렬형 지표 HumanScore를 소개한다. 24명의 전문 퍼포머가 광학식 모션 캡처로 기록한 데이터를 기반으로 구축된 공개 벤치마크는 네 가지 모션군에 걸쳐 약 153시간의 데이터를 포함한다. 또한 고도로 동적인 모션과 지면 접촉이 많은 모션에서 반복적으로 나타나는 약점을 드러낸다.
HumanTracker는 트래커 비교와 실패 분석을 재현 가능하게 수행할 수 있는 프레임워크를 제공한다. 향후에는 서로 다른 신체 구조 간 설정, 실제 하드웨어, 보상 최적화로 확장할 예정이다.
구간 구성과 패딩
이 수식은 유효 프레임을 사용해 궤적 구간을 구성하고 가중치를 부여하는 방식을 설명한다.
따라서 짧은 마지막 구간도 패딩된 프레임이 어텐션이나 풀링에 영향을 주지 않은 채 평가에 기여할 수 있다. 롤아웃 전체에서 윈도 보상을 결합할 때는 각 윈도에 실제 프레임 수에 비례한 가중치를 부여한다. 패딩 위치는 윈도 표현과 궤적 평균 어느 쪽에도 기여하지 않는다.
자주 묻는 질문
HumanTracker란 무엇인가? HumanTracker는 인간 정렬형 품질 평가를 활용해 휴머노이드 모션 트래킹을 평가하는 대규모 벤치마크이자 프레임워크다.
HumanScore는 무엇을 측정하는가? HumanScore는 인간의 선호도와 정렬되도록 설계된 시간적 통합 모션 정보를 사용해 궤적의 품질을 평가한다.
트래커 롤아웃은 어떻게 일관되게 평가하는가? 기준 동작을 공통 29-DoF 휴머노이드 표현으로 변환하고, 표준화된 지표와 상태 기록을 적용하는 공통 MuJoCo 진입점을 통해 평가한다.
더 긴 문맥이 HumanScore의 정렬 성능을 높이는 이유는 무엇인가? 더 긴 문맥은 발 미끄러짐, 떨림, 드리프트, 불안정성에서의 회복처럼 시간이 지나며 나타나는 문제를 드러낸다.