La imitación de gestos del brazo humano a partir de una sola cámara RGB se logra combinando la extracción de puntos de referencia de MediaPipe con geometría analítica, adaptada al robot semihumanoide NICO. El método propuesto no requiere datos de entrenamiento, es eficiente desde el punto de vista computacional y ofrece una correspondencia interpretable entre las observaciones visuales y las órdenes enviadas a los motores del robot.
Introducción
En conjunto, los trabajos existentes demuestran que la imitación puede lograrse mediante enfoques tanto analíticos como basados en aprendizaje. Los métodos basados en aprendizaje ofrecen flexibilidad y capacidad de generalización, pero a costa de una mayor complejidad; los enfoques analíticos, en cambio, proporcionan eficiencia y transparencia, aunque suelen requerir adaptaciones a estructuras cinemáticas específicas. Además, los estudios previos se centran a menudo en gestos simplificados o dependen de hardware de sensorización especializado.
En este contexto, el presente trabajo amplía los métodos basados en geometría analítica a un conjunto más amplio de gestos del brazo utilizando únicamente imágenes RGB. Al emplear MediaPipe para extraer puntos de referencia y adaptar las formulaciones geométricas a la cinemática del robot NICO, el enfoque propuesto consigue una imitación significativa sin recurrir a sensores costosos ni a modelos de aprendizaje con un alto coste computacional.
Trabajos relacionados
Con el avance de la visión por computador, han surgido sistemas capaces de extraer esqueletos humanos a partir de imágenes RGB. Uno de los más conocidos es OpenPose, diseñado para estimar la pose 2D de varios usuarios mediante dos redes neuronales convolucionales (CNN) que predicen las partes del cuerpo y sus asociaciones.
Soluciones más recientes, como MediaPipe, permiten extraer en tiempo real puntos de referencia pseudo-3D mediante cámaras RGB convencionales. Gracias a su baja latencia, MediaPipe se ha convertido en una solución popular para la interacción humano-robot y los sistemas basados en gestos.
Con la aparición de los sistemas de estimación de pose, la imitación del movimiento humano basada en visión se volvió más viable. En lugar de depender de sensores portables o sistemas de captura de movimiento, los robots pueden inferir directamente la configuración corporal humana a partir de imágenes RGB y reproducir el movimiento observado. Este avance impulsó tanto los métodos basados en geometría analítica como los enfoques de imitación basados en aprendizaje.
Durdu et al. exploraron algunos de los primeros enfoques de imitación robótica basados en redes neuronales. Utilizaron redes neuronales artificiales para clasificar movimientos del brazo humano registrados mediante sensores montados en las articulaciones y reproducirlos en una plataforma robótica de brazo.
Lúčny et al. exploraron enfoques autosupervisados en los que los robots aprenden a imitar mediante asociaciones entre observaciones visuales y sus propios estados motores. Estos métodos reducen la necesidad de conjuntos de datos anotados manualmente y muestran una capacidad de generalización prometedora. Aunque los métodos basados en aprendizaje ofrecen gran flexibilidad y capacidad de generalización, normalmente requieren conjuntos de datos de gran escala, procesos de entrenamiento y recursos computacionales considerables.
Varios estudios utilizan geometría analítica para transformar las coordenadas de los puntos de referencia en ángulos articulares sin recurrir a métodos basados en aprendizaje. Altayeb empleó MediaPipe para extraer puntos de referencia de la mano, mientras que los ángulos articulares se calcularon mediante relaciones geométricas directas para controlar posteriormente una mano robótica. El estudio demuestra que los métodos analíticos pueden alcanzar una precisión elevada sin depender de enfoques basados en aprendizaje. La precisión registrada, de aproximadamente el 96 %, indica que los enfoques analíticos son prometedores, aunque su aplicabilidad a movimientos más complejos sigue siendo una cuestión abierta.
Otro estudio relevante presenta un sistema basado en datos procedentes de una cámara de profundidad. En ese trabajo, los ángulos articulares se derivan mediante relaciones geométricas y se trasladan a la plataforma robótica NAO. Los autores informan de una precisión de imitación de aproximadamente el 95 % para los movimientos del brazo, lo que demuestra que los métodos analíticos pueden ser eficaces cuando se dispone de datos 3D precisos. Sin embargo, la dependencia de hardware de detección de profundidad incrementa el coste y la complejidad del sistema.
En cambio, el presente trabajo aplica un marco analítico similar al robot humanoide NICO utilizando únicamente imágenes capturadas con una cámara RGB. Dado que la estructura cinemática de NICO difiere de la del robot NAO, también es necesario adaptar las formulaciones de los ángulos correspondientes. En particular, el sistema propuesto incluye la estimación de la rotación del antebrazo y la flexión de la muñeca, mientras que NICO no dispone de la articulación de rotación del codo presente en la plataforma NAO. Además, este trabajo incorpora los puntos de referencia de la mano de MediaPipe, que aportan información adicional para estimar la flexión de la muñeca y la rotación del antebrazo. La imitación de los movimientos de la cabeza queda fuera del alcance de la implementación actual y, por tanto, no se aborda experimentalmente.
En conjunto, los enfoques analíticos existentes demuestran que es posible lograr una imitación de la pose prometedora sin modelos basados en aprendizaje. Sin embargo, los trabajos previos se centran en conjuntos de gestos simplificados o dependen de hardware especializado. Por ello, el enfoque propuesto no requiere una fase de entrenamiento, utiliza únicamente imágenes RGB monoculares, permite reconstruir el brazo y la mano completos y está adaptado a la cinemática del robot NICO.
Materiales y métodos
A continuación se describen el hardware y el software utilizados, así como el flujo de procesamiento empleado para la imitación de gestos.
Extracción de coordenadas 3D
Una limitación fundamental del sistema propuesto es el uso de una sola cámara RGB, sin modalidades de sensorización adicionales como sensores de profundidad. Para estimar la pose humana 3D bajo esta restricción se emplea el marco de trabajo MediaPipe. MediaPipe ofrece modelos capaces de extraer directamente de imágenes RGB los puntos de referencia tanto de la pose como de las manos.
En este trabajo se utilizan los puntos de referencia 11–24, centrados en el movimiento del brazo. El enfoque puede ampliarse a la imitación de todo el cuerpo, una línea de investigación interesante para el futuro.
La precisión de las salidas de MediaPipe ya ha sido evaluada en trabajos anteriores. En ese estudio, cuatro sujetos realizaron varios ejercicios físicos grabados desde distintos puntos de vista, con valores de referencia proporcionados por un sistema de captura de movimiento (MTw Awinda). Los resultados indican que la precisión de la estimación depende en gran medida del ángulo de visión y que el error aumenta cuando se producen oclusiones. Además, se observó que la estimación de los ángulos articulares era más fiable que la de las medidas corporales absolutas. Estas conclusiones coinciden con las observaciones de este trabajo, donde las oclusiones y los puntos de vista poco favorables reducen la precisión.
Correspondencia de ángulos con NICO
Los ángulos articulares reconstruidos mediante el modelo geométrico no pueden utilizarse directamente como órdenes para los motores, ya que cada articulación de NICO tiene su propio rango admisible y su propio sistema de coordenadas motoras. Por ello, cada ángulo reconstruido analíticamente se transformó linealmente al rango del motor correspondiente.
Dado que las posiciones del motor en los extremos del intervalo se especifican de forma explícita, la misma ecuación gestiona de manera natural tanto las orientaciones coincidentes como las invertidas de los motores. Finalmente, la posición motora calculada se redondea al entero más cercano antes de enviarse al controlador.
Conclusión
Este artículo ha presentado un flujo de trabajo analítico para la imitación de gestos del brazo humano mediante el robot semihumanoide NICO a partir de imágenes RGB monoculares. El método propuesto combina la extracción de puntos de referencia de la pose y de las manos mediante MediaPipe con la reconstrucción geométrica de los ángulos articulares y un procedimiento de correspondencia angular adaptado a la estructura cinemática de NICO. A diferencia de los métodos de imitación basados en aprendizaje, el enfoque no requiere datos de entrenamiento, es eficiente desde el punto de vista computacional y ofrece una correspondencia interpretable entre las observaciones visuales y las órdenes enviadas a los motores del robot.
La evaluación experimental, realizada con un conjunto de datos de poses predefinidas del brazo, demostró que el método reconstruye con precisión moderada la inclinación del hombro, la flexión del codo y la flexión de la muñeca, mientras que la rotación del hombro y, especialmente, la rotación del antebrazo siguen planteando mayores dificultades. Los resultados también mostraron que incorporar los puntos de referencia de la mano de MediaPipe mejora sustancialmente la estimación de la rotación del antebrazo frente al uso exclusivo de los puntos de referencia de la pose, aunque esta articulación continúa siendo la principal fuente de error de reconstrucción. En las condiciones experimentales controladas, la precisión de la reconstrucción fue relativamente constante entre participantes y ángulos de visión, mientras que el gesto ejecutado tuvo una influencia mucho mayor en el rendimiento.
El método presentado constituye una prueba de concepto para la imitación analítica de gestos a partir de imágenes RGB monoculares, utilizando puntos de referencia de MediaPipe y reconstrucción geométrica. Aunque el enfoque ofrece resultados alentadores para varias articulaciones del brazo en condiciones controladas, serán necesarias mejoras adicionales y validaciones con conjuntos de datos más amplios y diversos antes de considerarlo una solución robusta para la imitación general de gestos. Los trabajos futuros se centrarán en mejorar la estimación de la rotación del antebrazo, incorporar suavizado temporal, ampliar el sistema a gestos dinámicos y evaluar el método con sujetos y puntos de vista más diversos.
Los autores agradecen a Branislav Zigo su asistencia técnica. Esta investigación recibió financiación del proyecto TRAIL de Horizon Europe MSCA, n.º 101072488, y de la Agencia Eslovaca de Investigación y Desarrollo, proyecto APVV-21-0105.
Preguntas frecuentes
¿Cómo imita el robot NICO los gestos del brazo sin datos de entrenamiento? El robot utiliza MediaPipe para extraer los puntos de referencia de la pose y de las manos humanas a partir de una sola imagen RGB. Después, aplica fórmulas de geometría analítica para calcular los ángulos articulares, que se asignan directamente a los motores de NICO sin necesidad de entrenar un modelo de aprendizaje automático.
¿Qué articulaciones puede reconstruir el sistema y cuáles son las más difíciles? El método reconstruye la inclinación y la rotación del hombro, la flexión del codo, la rotación del antebrazo y la flexión de la muñeca. La rotación del antebrazo es la articulación más difícil, con los mayores errores de reconstrucción.
¿Cómo mejoran los puntos de referencia de la mano de MediaPipe la precisión de la imitación? La incorporación de los puntos de referencia de la mano mejora sustancialmente la estimación de la rotación del antebrazo frente al uso exclusivo de los puntos de referencia de la pose, ya que proporciona restricciones geométricas adicionales para calcular el ángulo de rotación.
¿Funciona el sistema desde cualquier ángulo de visión de la cámara? La precisión de la reconstrucción depende del ángulo de visión. El error de estimación de los puntos de referencia de MediaPipe aumenta con las oclusiones y los puntos de vista poco favorables, lo que afecta directamente a la precisión de los ángulos articulares.