Workhorse aprende a manipular objetos con todo el cuerpo a partir de demostraciones humanas y realiza tareas en un Unitree G1 real, según informó primero Arxiv. El sistema conecta las demostraciones de poses humanas con la planificación visual y el control del robot con todo el cuerpo. Las demostraciones físicas de clasificación de cajas incluyen recuperaciones después de que una persona empuja al robot o le quita la caja, y las pruebas en simulación miden la finalización de las tareas.
A los robots humanoides todavía les cuesta planificar manipulaciones de cuerpo completo con mucho contacto a partir de imágenes RGB egocéntricas y propiocepción. Workhorse divide la tarea entre un planificador visual y un controlador de seguimiento de cuerpo completo basado en aprendizaje por refuerzo. El planificador predice cinco poses objetivo: el torso, ambas muñecas y ambos pies; el controlador las sigue en el robot.
Ambas políticas se entrenan por separado con las mismas poses humanas grabadas, sin retargeting. Los datos de entrenamiento de cada política se amplían para imitar los errores que comete la otra durante el despliegue. Así, las demostraciones no requieren un robot, pero los errores entre políticas sí se incorporan al entrenamiento.
En un Unitree G1 real, Workhorse clasifica cajas con las manos y con una patada, atrapa una caja lanzada y vuelca una maleta para luego trepar por ella. Las demostraciones de clasificación de cajas también muestran cómo el robot se recupera después de que una persona lo empuja o le quita la caja.
En una copia simulada de la sala de demostración, la clasificación de cajas se completa en el 77% de los episodios y en el 64% cuando recibe empujones de 40 N.s. Con ambas políticas reentrenadas a partir de las mismas demostraciones, un segundo humanoide simulado completa la clasificación de cajas en el 83% de los episodios sin empujones.