Proponemos ARDY, un modelo de difusión autorregresivo que permite la generación interactiva y controlable de movimiento humano. ARDY soporta de forma nativa la introducción de texto en línea y restricciones cinemáticas flexibles adaptadas a aplicaciones interactivas, incluyendo objetivos a largo plazo que se extienden más allá de una sola ventana de generación. Presentamos una demostración en tiempo real de generación de movimiento interactiva y orientable, destacando el potencial de los modelos generativos para futuros sistemas de animación. Validamos nuestras decisiones arquitectónicas mediante extensos estudios de ablación en el conjunto de datos Bones Rigplay de gran escala y calidad de estudio. Además, los experimentos en el banco de pruebas público HumanML3D demuestran que ARDY supera a los métodos existentes tanto en fidelidad del movimiento como en precisión de control.
Representación de Movimiento Híbrida
Para equilibrar la compacidad representacional necesaria para un aprendizaje generativo eficiente con la necesidad de un control directo y preciso mediante la sobrescritura explícita de características, proponemos una representación de movimiento híbrida que desacopla el movimiento de la raíz del movimiento del cuerpo. Específicamente, las trayectorias de la raíz se representan de forma explícita e interpretable, mientras que el movimiento del cuerpo se codifica en un espacio latente compacto.
Nuestra representación híbrida se basa en una representación explícita del movimiento. Cada fotograma de un movimiento que utiliza esta representación explícita se define como una tupla de características de las articulaciones del esqueleto de la raíz y el cuerpo. Este enfoque proporciona la compacidad necesaria para el aprendizaje generativo, al tiempo que permite un control directo mediante la manipulación explícita de características.
Detalles de Entrenamiento e Implementación
En la práctica, nuestro tokenizador de movimiento utiliza un tamaño de parche de fotogramas por parche. Tanto el codificador como el decodificador se implementan como transformadores de 8 capas con una dimensión latente de 512, utilizando atención causal para preservar la consistencia temporal. El tokenizador se entrena en clips de movimiento de longitudes variables (1–10 segundos) utilizando una pérdida de reconstrucción y una pérdida adicional que penaliza el deslizamiento de los pies.
Demostración de Generación de Movimiento Interactiva
Para mostrar la versatilidad de ARDY, desarrollamos una interfaz utilizando Viser para generar movimiento de forma interactiva con nuestro modelo. El sistema permite el control del personaje en tiempo real mediante una combinación de indicaciones de texto en flujo continuo y restricciones espaciales interactivas proporcionadas a través de entrada de ratón y teclado.
Resultados de la Demostración
Nuestro sistema soporta diversas interfaces de locomoción: los usuarios pueden definir trayectorias de raíz objetivo en tiempo real usando puntos de ruta con el ratón o modular la velocidad en tiempo real mediante comandos de teclado. Para el control de la trayectoria de la raíz basado en ratón, derivamos la trayectoria objetivo interpolando linealmente entre los puntos de ruta marcados con el ratón y suavizando la trayectoria resultante. Para el control de velocidad de la raíz basado en teclado, calculamos una velocidad objetivo a partir de la entrada del usuario y la velocidad actual, luego interpolamos linealmente entre ambas e integramos las velocidades por fotograma resultantes para derivar la trayectoria de la raíz de entrada al modelo.
Análisis en Datos de Captura de Movimiento a Gran Escala
Analizamos a fondo las elecciones de diseño clave de ARDY junto con los efectos de varias configuraciones de hiperparámetros.
Estudio de Ablación
Se presentan resultados de ablación sobre tres elecciones de diseño clave: la representación de movimiento híbrida, la conversión de raíz global a local dentro del decodificador del tokenizador y el diseño del eliminador de ruido en dos etapas.
Análisis de Hiperparámetros y Tipo de Tokenizador
Se proporciona un análisis de la longitud del horizonte de generación, el número de pasos de difusión y las configuraciones del tokenizador.
Evaluación Comparativa
Evaluamos ARDY frente a las líneas de base más avanzadas, tanto fuera de línea como en línea, para la generación condicionada por texto en el conjunto de datos estándar HumanML3D. Para estos experimentos, nuestro modelo se entrena con un horizonte de generación de 40 fotogramas utilizando 10 pasos de difusión y un tokenizador de autoencoder básico. ARDY supera a los métodos existentes tanto en fidelidad del movimiento como en precisión de control.
Discusión
Proponemos ARDY, un modelo de difusión de movimiento autorregresivo que permite la generación interactiva y controlable de movimiento humano. ARDY soporta de forma nativa la introducción de texto en línea y restricciones cinemáticas flexibles adaptadas a aplicaciones interactivas, incluyendo objetivos a largo plazo que se extienden más allá de una sola ventana de generación. Presentamos una demostración en tiempo real de generación de movimiento interactiva y orientable, destacando el potencial de los modelos generativos para futuros sistemas de animación. Validamos nuestras decisiones arquitectónicas mediante extensos estudios de ablación en el conjunto de datos Bones Rigplay de gran escala y calidad de estudio. Además, los experimentos en el banco de pruebas público HumanML3D demuestran que ARDY supera a los métodos existentes tanto en fidelidad del movimiento como en precisión de control.
Preguntas Frecuentes
¿Qué hace que ARDY sea diferente de otros modelos de generación de movimiento humano? ARDY es un modelo de difusión autorregresivo que soporta generación de movimiento interactiva en tiempo real con indicaciones de texto en línea y restricciones cinemáticas flexibles, incluyendo objetivos a largo plazo.
¿Cómo maneja ARDY el movimiento de la raíz y el movimiento del cuerpo por separado? ARDY utiliza una representación de movimiento híbrida que desacopla el movimiento de la raíz (representado explícitamente) del movimiento del cuerpo (codificado en un espacio latente compacto), equilibrando la compacidad para el aprendizaje generativo con el control directo.
¿Qué conjuntos de datos se utilizaron para evaluar ARDY? ARDY fue validado en el conjunto de datos Bones Rigplay de gran escala para estudios de ablación y evaluado en el banco de pruebas público HumanML3D para comparación con métodos de última generación.
¿Puede ARDY generar movimiento en tiempo real? Sí, ARDY soporta la generación de movimiento interactivo en tiempo real mediante entradas de teclado y ratón, permitiendo el control de la trayectoria de la raíz, la modulación de la velocidad y las indicaciones de texto en flujo continuo.