Un método de retargeting de movimiento humanoide dirige más esfuerzo de optimización a los fotogramas clave y a determinadas partes del cuerpo, según un estudio publicado por primera vez en Arxiv. El método aborda una limitación de los presupuestos uniformes de iteraciones por fotograma en tareas de interacción con objetos. Los experimentos revelaron una mejor cobertura geométrica del contacto y mayor continuidad con un coste computacional menor. Además, las referencias resultantes mejoraron la ejecución de tareas posteriores en diversos movimientos de interacción con objetos.
El retargeting de movimiento convierte demostraciones humanas en trayectorias de referencia para el control de cuerpo completo y la locomanipulación. En las tareas de interacción con objetos, la ejecución depende de preservar las relaciones entre el cuerpo y los objetos en etapas críticas, mientras que los presupuestos uniformes de iteraciones por fotograma no tienen en cuenta esos requisitos de precisión localizados.
El método, denominado Retargeting espaciotemporal (STR), utiliza un modelo de visión y lenguaje para seleccionar señales de movimiento y partes del cuerpo relevantes. Los cambios en las señales seleccionadas permiten identificar los fotogramas clave; STR asigna iteraciones adicionales del solucionador a esos fotogramas y mayores pesos de interacción a las partes seleccionadas.
El Anclaje de contacto basado en la mecánica (MCA) refina las posiciones de contacto sobre la superficie del objeto mediante un modelo aproximado de la fuerza y el par del objeto, a la vez que mantiene las direcciones de superficie seleccionadas. Para el control posterior, el Aprendizaje por refuerzo espaciotemporal (STRL) combina un muestreo adaptativo de etapas clave con una recompensa de contacto basada en la proximidad al objetivo y las fuerzas de contacto del objeto.
Los componentes abordan distintas partes del método: STR distribuye el esfuerzo de optimización entre fotogramas clave y partes del cuerpo, mientras que MCA refina las posiciones de contacto sobre la superficie del objeto.
Los experimentos en simulación con un Unitree G1 y los experimentos en el mundo real con un Unitree R1 revelaron que STR mejoró la cobertura geométrica del contacto y la continuidad con un coste computacional menor. Las referencias resultantes mejoraron la ejecución de tareas posteriores en diversos movimientos de interacción con objetos.