Investigadores han creado un sistema completo que permite a un operador controlar de forma remota tanto los brazos como las piernas de un robot humanoide miniatura mediante un casco de realidad virtual, controladores manuales y una cinta de correr. Al combinar la reorientación de movimientos en tiempo real con una política de caminar basada en aprendizaje por refuerzo (RL), el sistema logra teleoperación de cuerpo completo sin necesidad de equilibrio manual ni cambio de marcha.
Tabla de contenidos
- Lo que construyeron los investigadores
- Resultados clave
- Cómo funciona
- Por qué esto es importante para la robótica
- Limitaciones y preguntas abiertas
- Preguntas frecuentes
- Conclusión
Lo que construyeron los investigadores
El equipo desarrolló un marco completo de software y hardware para tele-loco-manipulación – controlar simultáneamente la locomoción y manipulación de un robot humanoide a través de una interfaz de realidad virtual. La configuración de hardware utiliza un casco VIVE Pro 2 para rastrear los movimientos de la cabeza del operador y dos controladores VIVE para las poses de las manos, todo rastreado ópticamente por cuatro SteamVR Basestation 2.0. Una cinta de correr VR KAT Walk C2+ captura los movimientos de caminar del operador (aunque esta función está reservada para estudios futuros). Todo se ejecuta en una PC de alto rendimiento con CPU i9 y GPU RTX 4090 para minimizar la latencia de VR.
El robot objetivo es el ROBOTIS OP3, un humanoide miniatura con 20 grados de libertad de revolución (6 GDL por pierna, 3 GDL por brazo y un cabezal de 2 GDL con movimiento de paneo e inclinación). Sus servos DYNAMIXEL XM430-W350-R se controlan mediante un modelo de actuador basado en datos desarrollado por los investigadores. La cámara original del robot fue reemplazada por una cámara USB VR180 de doble lente ojo de pez para dar al operador una visión inmersiva en primera persona. En el lado del software, el sistema combina un controlador de impedancia basado en PD de cuerpo completo para manipulación flexible con una política de locomoción basada en RL que maneja el caminar y el equilibrio de pie. Todo el pipeline se validó en el hardware real del OP3.
Resultados clave
Los investigadores realizaron dos tipos de experimentos para validar el sistema:
- Validación de telemanipulación: El operador trazó un círculo rápidamente con ambos brazos diez veces mientras se registraban las posiciones del controlador VR y las posiciones reales del efector final del robot a 50 Hz. Esto midió la latencia de seguimiento de movimiento y la precisión del pipeline de reorientación de brazos.
- Validación de locomoción: Se enviaron comandos aleatorios de velocidad de cuerpo completo al robot cada tres segundos durante una prueba de 80 segundos. Se registró la gravedad proyectada normalizada – una métrica de estabilidad bípeda – junto con las velocidades comandadas para evaluar qué tan bien la política de RL mantiene el equilibrio bajo velocidades cambiantes.
El artículo informa que el sistema demostró con éxito tele-loco-manipulación bimanual en una prueba de muestra (disponible en el video complementario). Aunque no se proporcionan valores numéricos exactos en el resumen, los experimentos confirman que el marco integrado puede rastrear los movimientos de la mano del operador en tiempo real y mantener una locomoción estable bajo comandos variables. El modelo de actuador basado en datos resultó esencial para lograr un control de torque confiable en los servos DYNAMIXEL.
Cómo funciona
El sistema funciona en tres capas interconectadas:
- Captura de movimiento VR: El HMD VIVE Pro 2 y los controladores reportan poses de 6 GDL a hasta 90 Hz. Las posiciones de brazos y cabeza del operador se reorientan a los ángulos de articulación correspondientes del robot mediante cinemática inversa. La transmisión de la cámara VR180 se envía de vuelta al HMD para telepresencia.
- Modelado de actuadores y control de impedancia: Debido a que los servos DYNAMIXEL XM430 tienen un control de torque integrado limitado, el equipo derivó un modelo basado en datos de cada actuador (mapeando el torque deseado a la corriente comandada). Un controlador de impedancia basado en PD de cuerpo completo luego traduce las fuerzas deseadas del efector final en torques de articulación, permitiendo que el robot cumpla físicamente con perturbaciones externas mientras sigue las órdenes del operador.
- Política de locomoción RL: Se entrenó una política de aprendizaje por refuerzo en simulación para generar torques de articulación que hagan que el robot siga una velocidad lineal y angular deseada mientras se mantiene erguido. La política se transfirió al robot real mediante identificación de sistemas en los actuadores (el modelo basado en datos). La política RL se ejecuta en el mismo bucle de control que el controlador de impedancia, por lo que los comandos de manipulación y locomoción se combinan a nivel de torque.
La arquitectura de software es modular: la interfaz VR envía comandos de alto nivel, la política RL maneja el caminar y el controlador de impedancia gestiona la flexibilidad de los brazos. Los tres se ejecutan concurrentemente en el ordenador a bordo del OP3 (Intel NUC y placa OpenCR).
Por qué esto es importante para la robótica
Este trabajo demuestra que la teleoperación de cuerpo completo de un humanoide miniatura es viable utilizando hardware VR comercial y control basado en aprendizaje. Para profesionales de la robótica, esto abre varios casos de uso prácticos:
- Inspección y manipulación remota en entornos peligrosos (ej., desmantelamiento nuclear, respuesta a desastres) donde se necesita un factor de forma humanoide para navegar escaleras o espacios reducidos.
- Telepresencia con interacción física – el controlador de impedancia asegura que el robot pueda contactar objetos de forma segura mientras el operador permanece inmerso.
- Entrenamiento escalable – la política de locomoción RL puede mejorarse con el tiempo sin cambiar el hardware, permitiendo potencialmente controlar diferentes plataformas humanoides con el mismo marco.
El sistema es particularmente relevante para humanoides pequeños como el ROBOTIS OP3, que son asequibles y ampliamente utilizados en laboratorios de investigación y educación. Puedes explorar humanoides similares en listados de robots humanoides de Robot Overflow o encontrar brazos robóticos colaborativos usados para tareas de manipulación relacionadas en cobots usados en venta.
Limitaciones y preguntas abiertas
El sistema tiene varias limitaciones reconocidas:
- El robot está conectado a la red eléctrica, limitando la autonomía y el despliegue en campo.
- La política de locomoción solo se ha validado a velocidades de caminata moderadas; giros rápidos o pendientes podrían desestabilizarla.
- El seguimiento de movimiento VR puede sufrir oclusiones o fluctuaciones, que se propagan al efector final del robot.
- El modelo de actuador se derivó para los servos DYNAMIXEL XM430 específicos; migrar a otros actuadores requeriría un nuevo modelado.
Las preguntas abiertas incluyen qué tan bien escala el sistema a humanoides más grandes, si la cinta de correr VR puede reemplazar el seguimiento del cuerpo del operador para una locomoción más natural y cómo manejar tareas de contacto múltiple (ej., subir escaleras) sin cambio manual de modo.
Preguntas frecuentes
¿Qué hardware se necesita para usar este sistema? Un casco VIVE Pro 2, dos controladores VIVE, cuatro SteamVR Basestation 2.0, una cinta de correr KAT Walk C2+ (opcional) y un humanoide ROBOTIS OP3 con su ordenador a bordo.
¿Puede el operador controlar la velocidad y dirección de caminata del robot? Sí – la política de locomoción RL acepta comandos continuos de velocidad lineal y angular, que pueden generarse por el movimiento del cuerpo del operador o mediante entrada de joystick (en la configuración actual, se envían programáticamente).
¿Cómo se mantiene el equilibrio del robot durante la manipulación? La política RL maneja el equilibrio generando torques de articulación que contrarrestan los efectos de los movimientos de brazos y fuerzas externas. El controlador de impedancia añade flexibilidad, por lo que el robot no se vuelve rígido durante el contacto.
¿Está listo el sistema para despliegue comercial? Todavía no – es un prototipo de investigación que requiere una PC dedicada, una fuente de alimentación por cable y una calibración cuidadosa. Sin embargo, la arquitectura de software es modular y podría adaptarse a otras plataformas humanoides.
Conclusión
Esta investigación demuestra que combinar telemanipulación VR con una política de locomoción aprendida puede proporcionar control de cuerpo completo en tiempo real de un robot humanoide miniatura. El modelado de actuadores de estilo código abierto y el control de impedancia proporcionan una base sólida para futuros trabajos en robots de telepresencia portátiles y de menor costo. La integración adicional de la cinta de correr VR y el equilibrio dinámico bajo carga serán los próximos pasos clave.