Para cada método, convertimos la referencia a la misma representación qpos de 29 grados de libertad del humanoide y ejecutamos la política mediante un punto de entrada común de evaluación en MuJoCo. Cada tracker conserva sus observaciones de política y su decodificador de acciones nativos; en cambio, el evaluador estandariza la lista de movimientos, el modelo del robot, la indexación de la referencia, el registro de las ejecuciones y la implementación de las métricas.
Evaluación estandarizada de los trackers
La trayectoria de control se registra a 50 Hz. En cada paso, el evaluador almacena la posición y la velocidad generalizadas simuladas, la acción de la política y el objetivo de los motores, los contactos de los pies y sus fuerzas, las velocidades de los pies y la pelvis, así como las poses y velocidades espaciales de 14 puntos clave. Se utiliza el mismo historial de estados para los diagnósticos convencionales y HumanScore, lo que evita confundir las diferencias del posprocesamiento con diferencias entre trackers.
Usamos la misma métrica de seguimiento y el mismo criterio de éxito con SONIC para cada tracker. La métrica mide el error de posición vertical de la pelvis, ambos tobillos y ambas muñecas, junto con el error de rotación de la pelvis. El episodio falla cuando cualquier error vertical supera 0,25 m, el error de rotación de la pelvis supera 1 rad o la posición o velocidad generalizadas contienen un valor no finito.
Informamos Succ como la fracción de episodios completados y MPJPE como el error absoluto medio de los 29 ángulos articulares accionados, en radianes, a lo largo de la parte ejecutada de cada rollout. Entre los diagnósticos adicionales se incluyen el error de velocidad articular, el error de posición de los puntos clave, la concordancia de los contactos de los pies y la aceleración y el jerk articulares calculados mediante diferencias finitas. Todos los valores publicados del benchmark utilizan la partición de prueba de HumanTracker.
Construcción de los datos de preferencias
El conjunto de preferencias se genera exclusivamente a partir de movimientos de la partición de entrenamiento de HumanTracker, por lo que ningún movimiento de prueba del benchmark se utiliza para entrenar HumanScore. Para cada movimiento de origen, GMT, Humanoid-GPT, SONIC y TWIST2 producen rollouts alineados sobre la misma referencia en el espacio del robot.
A 50 Hz, cada rollout se divide en ventanas consecutivas de 250 frames, cada una de 5 s. Si un rollout termina con una ventana más corta, esta última se conserva.
HumanScore
El vector de cada frame se proyecta linealmente, se normaliza y se amplía con una codificación posicional sinusoidal antes de procesarse mediante un encoder Transformer. En cada capa de atención se aplica una máscara de padding. La media elemento a elemento de los tokens de salida válidos forma la representación de la trayectoria, que una MLP transforma en una recompensa escalar.
Se utiliza la misma máscara para los clips finales conservados. Los segmentos de menos de 250 frames se rellenan con ceros por la derecha, mientras que la máscara de validez excluye las posiciones añadidas tanto de la atención como de la agregación temporal. Así, las ventanas completas y truncadas pueden procesarse con el mismo modelo sin introducir artefactos de padding.
Cálculo de HumanScore
A continuación, promediamos las recompensas de las ventanas según el número de frames que representa cada una.
Comparación con las preferencias humanas
HumanScore coincide con las preferencias humanas de forma más consistente que cualquier diagnóstico analítico individual. Las métricas convencionales aíslan la fidelidad de la pose, la velocidad o los contactos, mientras que los anotadores también tienen en cuenta que el movimiento resulte humano, su suavidad, estabilidad y la forma en que los errores evolucionan con el tiempo. Su menor concordancia indica que ningún diagnóstico aislado captura toda la calidad de la trayectoria reflejada en los juicios humanos.
La comparación también descarta varios atajos distributivos. Agrupar el conjunto de prueba por movimiento de origen evita que clips adyacentes de una misma secuencia queden repartidos entre particiones. Promediar la concordancia dentro de cada familia impide que las muestras más frecuentes de Daily e Interaction oculten el rendimiento en Ground y Highly Dynamic. Las parejas de trackers están equilibradas por construcción, de modo que el resultado no puede explicarse por el predominio de una familia o de una combinación concreta de trackers.
Análisis de sensibilidad
Eliminar las características de contacto medidas deteriora el rendimiento con mayor claridad en Ground. Esto indica que la información de contacto es importante para los movimientos con transiciones de contacto complejas. Añadir información de referencia futura ofrece un rendimiento ligeramente inferior al de la configuración base, lo que sugiere que esta señal adicional aporta un beneficio limitado y resulta difícil de aprovechar. Basta con utilizar los estados actuales e históricos para evaluar la calidad de la acción.
Un contexto más largo mejora la alineación al revelar deslizamientos, jitter, deriva y recuperaciones que las poses aisladas no permiten captar. La alineación también mejora de forma sostenida a medida que el contexto disponible aumenta de uno a cinco segundos.
Los segmentos cortos capturan errores instantáneos de pose, mientras que un contexto más largo revela artefactos que evolucionan con el tiempo, como el deslizamiento de los pies, el jitter repetido, la deriva progresiva y la recuperación tras una inestabilidad. Por tanto, HumanScore se beneficia de integrar evidencias complementarias a lo largo del tiempo, en lugar de evaluar el movimiento frame a frame.
Conclusión
Presentamos un benchmark a gran escala y HumanScore, una métrica alineada con el criterio humano, para evaluar el seguimiento de movimiento de humanoides. Construido a partir de movimiento óptico registrado por 24 intérpretes profesionales, el benchmark publicado contiene aproximadamente 153 horas distribuidas en cuatro familias de movimiento. Este revela debilidades persistentes en los movimientos altamente dinámicos y en aquellos con contacto con el suelo.
HumanTracker proporciona un marco reproducible para comparar trackers y analizar fallos, con líneas de trabajo futuras orientadas a escenarios entre distintas morfologías, hardware del mundo real y optimización de recompensas.
Construcción y padding de segmentos
La fórmula describe cómo se utilizan los frames válidos para construir y ponderar los segmentos de trayectoria.
De este modo, los segmentos terminales cortos pueden contribuir sin que los frames añadidos afecten a la atención o a la agregación. Al combinar las recompensas de las ventanas de un rollout, cada ventana se pondera según su número de frames reales. Las posiciones añadidas no contribuyen ni a la representación de la ventana ni al promedio de la trayectoria.
Preguntas frecuentes
¿Qué es HumanTracker? HumanTracker es un benchmark y marco a gran escala para evaluar el seguimiento de movimiento de humanoides mediante una valoración de calidad alineada con el criterio humano.
¿Qué mide HumanScore? HumanScore evalúa la calidad de las trayectorias utilizando información del movimiento agregada temporalmente, diseñada para alinearse con las preferencias humanas.
¿Cómo se evalúan de forma coherente los rollouts de los trackers? Las referencias se convierten a una representación compartida de 29 grados de libertad del humanoide y se evalúan mediante un punto de entrada común de MuJoCo, con métricas y registro de estados estandarizados.
¿Por qué un contexto más largo mejora la alineación de HumanScore? Un contexto más largo permite detectar artefactos que evolucionan con el tiempo, como el deslizamiento de los pies, el jitter, la deriva y la recuperación tras una inestabilidad.