Awaken-HI entrena un robot humanoide con videos y movimientos de cuerpo completo de personas, y luego adapta esa experiencia con 150 horas de teleoperación del robot. En un EngineAI T800, la política resultante alcanzó un éxito medio del 93.75% en ocho tareas de cuerpo completo, mientras que conjuntos de datos humanos más grandes también mejoraron el desempeño en tareas domésticas. Esto ofrece una vía práctica para enseñar locomoción y manipulación de forma conjunta, en lugar de recopilar demostraciones robóticas para cada movimiento.
¿Qué desarrollaron los investigadores?
Awaken-HI, de EngineAI, es un sistema de entrenamiento para robots humanoides que parte de demostraciones de personas y luego adapta lo aprendido a un robot específico. Su base es Awaken-Human, un conjunto de datos que empareja 50,000 horas de video en primera persona con grabaciones sincronizadas del movimiento corporal humano. El corpus contiene aproximadamente 17.02 millones de episodios, 5.41 mil millones de fotogramas de poses y 11.18 millones de instrucciones en lenguaje natural.
Las personas grabaron demostraciones con un visor PICO y cinco rastreadores corporales. Este equipo capturó video estereoscópico —una vista desde dos cámaras que ayuda a estimar la distancia— junto con el movimiento corporal. El conjunto incluye más de 100 habilidades realizadas en hogares, lugares de trabajo, tiendas y zonas de almacenamiento, como transportar objetos, colocar artículos en estantes, doblar ropa y limpiar superficies. Las grabaciones continuas conservan la forma en que las personas caminan, giran, se agachan y cambian de posición mientras usan las manos.
El equipo también añadió etiquetas para que las grabaciones fueran útiles para el entrenamiento: descripciones de segmentos de tareas, poses de las manos reconstruidas a partir del video y estimaciones de la profundidad de la escena. Revisores humanos comprobaron las etiquetas iniciales de las tareas y se filtraron las observaciones de las manos de baja calidad. Estos datos depurados y alineados permiten que el robot aprenda no solo qué hizo una persona, sino también cómo se relacionan entre sí el movimiento, los objetos y las instrucciones.

¿Qué resultados obtuvo Awaken-HI?
El resultado más destacado que se reporta es una tasa media de éxito del 93.75% en ocho tareas individuales de cuerpo completo, después del entrenamiento específico para el robot. Entre esas tareas se incluían caminar hasta objetos, recogerlos, colocarlos en estantes, colgar una prenda y mover una cesta de ropa. Las evaluaciones utilizaron diez ensayos por tarea, con configuraciones iniciales compartidas entre los métodos.
Un mayor volumen de datos de preentrenamiento humano también mejoró el desempeño en tres tareas domésticas. Al aumentar el conjunto de demostraciones humanas de 5,000 a 50,000 horas, el éxito medio pasó del 56.7% al 90.0%. En pruebas que cambiaban qué objetos debían colocarse en cada destino, Awaken-HI tuvo éxito en todos los ensayos en dos cambios de instrucciones industriales y en el 80% de los ensayos en dos cambios domésticos. El artículo informa mejores resultados que las dos líneas de base de visión-lenguaje-acción evaluadas en las cuatro pruebas.
Awaken-HI también manipuló dos objetos ausentes de las demostraciones de posentrenamiento robótico: pañuelos de papel y un frasco de medicamentos. Sus tasas de finalización a nivel de objeto fueron del 50% y el 30%, respectivamente, mientras que ambas líneas de base registraron un 0% con cada objeto. Estas pruebas apuntan a una mejor transferencia, pero los resultados también muestran que los artículos desconocidos siguen siendo un desafío.
| Evaluación | Resultado de Awaken-HI |
|---|---|
| Ocho tareas individuales de cuerpo completo | 93.75% de éxito medio |
| Tareas domésticas tras 5,000 horas de preentrenamiento humano | 56.7% de éxito medio |
| Tareas domésticas tras 50,000 horas de preentrenamiento humano | 90.0% de éxito medio |
| Dos pruebas industriales de combinación de instrucciones | 100% de éxito en cada una |
| Dos pruebas domésticas de combinación de instrucciones | 80% de éxito en cada una |
| Pañuelos de papel / frasco de medicamentos no vistos durante el entrenamiento | 50% / 30% de finalización a nivel de objeto |
| Líneas de base con pañuelos de papel / frasco de medicamentos no vistos durante el entrenamiento | 0% / 0% |

¿Cómo convierte Awaken-HI la experiencia humana en acciones robóticas?
Una decisión de diseño clave es que Awaken-HI aprende conjuntamente el movimiento humano y el movimiento del robot. Los cuerpos humanos y robóticos tienen proporciones diferentes, por lo que copiar directamente la pose de una persona no produciría una acción viable para el robot. Por eso, el sistema adapta las demostraciones humanas al espacio de acciones del EngineAI T800 y, al mismo tiempo, conserva el movimiento humano original como un segundo objetivo de entrenamiento.
El modelo combina una base de visión-lenguaje con un experto de acciones compartido. El componente de visión-lenguaje procesa imágenes de las cámaras e instrucciones; el experto de acciones predice el movimiento para un horizonte temporal futuro. Durante el preentrenamiento, ramas separadas de entrada y salida representan las acciones del T800, el movimiento humano original y las poses de las muñecas. El experto de acciones es compartido, de modo que los tres tipos de supervisión del movimiento influyen en el mismo modelo central. La predicción adicional de profundidad ayuda al sistema a razonar sobre distancias y ubicaciones de objetos, mientras que la predicción de lenguaje identifica la subtarea actual.
Antes de utilizarse en el robot, la política preentrenada se ajusta con 150 horas de datos de teleoperación del T800. Estos datos emparejan las observaciones y los estados medidos del robot con acciones demostradas por un operador remoto. El ajuste fino fundamenta los patrones de movimiento humano aprendidos en el cuerpo y los controles propios del robot.
Durante el despliegue, la política predice una secuencia de acciones a partir de las observaciones actuales, envía los objetivos al controlador de bajo nivel del T800 y repite el proceso a medida que llegan nuevas observaciones. Esta actualización repetida se denomina control de horizonte móvil: el robot planifica por adelantado, ejecuta y luego actualiza su plan, en lugar de comprometerse con una secuencia larga de una sola vez.

¿Por qué importa el preentrenamiento de cuerpo completo en robótica?
Muchas tareas útiles para los humanoides no consisten solo en movimientos de las manos. Un robot debe acercarse a un objeto, orientar el cuerpo, estirarse o agacharse, manipular el objeto y, en ocasiones, alejarse mientras lo transporta. El entrenamiento con demostraciones humanas continuas proporciona a Awaken-HI ejemplos de estas transiciones coordinadas, en vez de instantáneas aisladas de acciones como agarrar o caminar.
El resultado de escalado que se reporta es especialmente relevante para los equipos que sopesan el costo de recopilar datos robóticos. Awaken-HI se preentrena a gran escala con demostraciones humanas y luego se apoya en un conjunto de datos robóticos más pequeño y específico para adaptar el comportamiento. La mejora del 56.7% al 90.0% entre los conjuntos de datos humanos más pequeño y más grande que se reportan sugiere que la experiencia humana puede aportar más que un punto de partida inicial.
Las pruebas de generalización también ofrecen señales operativas útiles. El robot ajustó dónde colocaba objetos conocidos cuando se les asignaban nuevos destinos y completó algunas tareas con objetos desconocidos que hicieron fallar a las líneas de base. Este tipo de flexibilidad importa en entornos de trabajo cambiantes, aunque los resultados no demuestran un desempeño fiable con objetos o entornos arbitrarios.
Los equipos que evalúan plataformas pueden explorar robots humanoides en Robot Overflow. Para aplicaciones de almacén y manipulación de materiales, los robots de almacén ofrecen una categoría relacionada para comparar, aunque Awaken-HI se probó en una plataforma humanoide.
¿Cuáles son las limitaciones y las preguntas abiertas?
La evaluación abarca ocho tareas individuales y dos secuencias de tareas de horizonte largo en una plataforma humanoide, el EngineAI T800. Cada conjunto de ensayos reportado es pequeño, con diez ensayos por tarea o prueba de instrucciones, por lo que los resultados no muestran cómo varía el desempeño entre poblaciones más amplias de objetos, entornos o condiciones operativas. Los resultados proporcionados tampoco incluyen las tasas exactas de éxito de las líneas de base para cada tarea, lo que dificulta cuantificar algunas comparaciones.
Los resultados con objetos desconocidos son prometedores, pero modestos: la tasa de finalización alcanzó el 50% con pañuelos de papel y el 30% con un frasco de medicamentos. El enfoque también depende de una infraestructura de datos considerable, que incluye rastreadores portátiles, video estereoscópico, anotación y 150 horas de teleoperación del robot. Se necesitan más pruebas para determinar hasta qué punto las habilidades aprendidas se transfieren a otros humanoides, resisten cambios inesperados y funcionan con seguridad durante despliegues prolongados.
¿Qué deben saber los equipos sobre Awaken-HI?
¿Awaken-HI se entrena únicamente con demostraciones robóticas? No. Primero aprende a partir de videos y movimientos humanos; después, se ajusta con 150 horas de datos de teleoperación del T800.
¿Qué tipos de tareas realizó el robot? Las pruebas incluyeron caminar hasta objetos, recogerlos y colocarlos, abastecer estantes, colgar prendas y transportar una cesta de ropa.
¿Un mayor volumen de datos humanos mejoró el desempeño? Sí. En tres tareas domésticas, la tasa media de éxito reportada pasó del 56.7% con 5,000 horas de demostraciones humanas al 90.0% con 50,000 horas.
¿Puede el sistema manipular objetos que nunca ha visto? Completó algunos ensayos con dos objetos ausentes del posentrenamiento robótico, mientras que ambas líneas de base obtuvieron cero con esos objetos. Aun así, sus tasas de finalización fueron limitadas.
¿Cuál es la conclusión?
Awaken-HI muestra cómo los datos de movimiento humano a gran escala pueden ayudar a un humanoide a coordinar la locomoción y la manipulación, y luego adaptar esas habilidades mediante teleoperación robótica. Sus resultados son sólidos en las tareas evaluadas, mientras que la transferencia a un ámbito más amplio y la manipulación fiable de objetos desconocidos siguen siendo desafíos pendientes.
