Los modelos de visión pueden estimar la posición de una pelota de tenis, seguir a un jugador y anticipar el siguiente golpe a partir de vídeos grabados desde el punto de vista móvil del jugador. Este estudio compara modelos de imagen, vídeo y visión-lenguaje en siete tareas de percepción y predicción, y luego utiliza estimaciones visuales para generar movimientos de cuerpo completo: una primera prueba de cómo la IA visual puede ayudar a los robots a responder en entornos que cambian rápidamente.
Tabla de contenidos
- ¿Qué desarrollaron los investigadores?
- ¿Qué mostraron los experimentos?
- ¿Cómo funciona el proceso de visión a movimiento?
- ¿Por qué es importante para la robótica?
- ¿Cuáles son las limitaciones y las preguntas abiertas?
- ¿Qué preguntas hacen con más frecuencia los lectores?
- ¿Cuál es la conclusión principal?
¿Qué desarrollaron los investigadores?
Los investigadores crearon un sistema de estudio para entrenar y evaluar modelos visuales con grabaciones de tenis filmadas desde el punto de vista de un jugador. El conjunto de datos combina vídeo egocéntrico —vídeo grabado por una cámara que se mueve con el jugador— con vídeo alocéntrico, es decir, vistas de cámaras colocadas alrededor de la pista. Estas vistas externas ofrecen una referencia más amplia de la ubicación de los jugadores y la pelota, mientras que el punto de vista portátil muestra lo que vería un robot al moverse y actuar.
El equipo sincronizó las grabaciones mediante una señal visible: el jugador daba una palmada al principio y al final de una sesión. También calibraron las cámaras, lo que permite relacionar las ubicaciones en la imagen con la pista y con posiciones físicas. La información anotada incluye la posición de la pelota, la del jugador y si el siguiente golpe del jugador será de derecha o de revés. La ubicación de la pelota en la vista del jugador está etiquetada en el 97.4% de los fotogramas; los restantes contienen oclusiones.
El trabajo evalúa varios tipos de modelos de visión preentrenados, incluidos codificadores de imagen, codificadores de vídeo y modelos de visión-lenguaje (VLMs). Va más allá de puntuar predicciones: los investigadores también utilizan estimaciones visuales para condicionar un sistema que genera movimientos de cuerpo completo.
¿Qué mostraron los experimentos?
El resultado principal es que ninguna familia de modelos destaca como la solución para todas las tareas. Los codificadores de imagen y los modelos de visión-lenguaje ofrecen un rendimiento ampliamente competitivo, pero sus fortalezas relativas varían según lo que el sistema necesite percibir o predecir. Esto importa a quienes diseñan robots: elegir un modelo para una habilidad, como localizar una pelota, no demuestra que vaya a ser el mejor para predecir la siguiente acción de un jugador.
El estudio examina siete tareas de comprensión espacial y anticipación a partir de vídeos dinámicos de tenis. Un hallazgo práctico es que añadir información de profundidad mejora sustancialmente la localización de la pelota. En otras palabras, para localizar la pelota, la apariencia visual por sí sola resulta menos útil que combinarla con información sobre la distancia a la que se encuentra.
Disponer de más historial visual no siempre es mejor. Los experimentos que variaron la cantidad y la separación entre los fotogramas de entrada revelaron que los historiales más largos no mejoraron de forma sistemática las predicciones de la posición futura de la pelota. La cobertura de etiquetas de la pelota del 97.4% en el conjunto de datos mide la disponibilidad de anotaciones, no la precisión de las predicciones de un modelo. Los resultados proporcionados no incluyen puntuaciones de error por tarea ni diferencias detalladas en las comparaciones directas, por lo que no es posible ofrecer una clasificación numérica precisa de los modelos. La conclusión es la comparación entre tipos de modelos y los efectos específicos de la profundidad y el historial, no una única cifra de precisión destacada.
¿Cómo funciona el proceso de visión a movimiento?
El sistema comienza con un codificador visual preentrenado: un modelo que convierte imágenes o vídeos en una secuencia de características numéricas. Los investigadores evalúan codificadores basados en imágenes, en vídeo y de visión-lenguaje para comprobar qué utilidad tienen sus representaciones visuales existentes en tareas de tenis. En lugar de volver a entrenar cada codificador desde cero, le añaden pequeñas cabezas de predicción a su salida. Estas cabezas leen las características del codificador y generan estimaciones específicas para cada tarea.
Cada cabeza utiliza consultas entrenables —representaciones compactas de las salidas que debe producir el modelo— para prestar atención a los tokens del codificador. Los tokens son unidades de características que representan partes de la entrada, como fragmentos de imagen y, en el caso de los VLMs, características relacionadas con el lenguaje. A continuación, una red neuronal de dos capas convierte la información atendida en predicciones. Las cabezas se entrenan conjuntamente, con un embedding posicional compartido que ayuda al sistema a recordar de dónde proceden las características. Las predicciones continuas, como las posiciones, utilizan una pérdida L2; las categorías de golpes, una pérdida de entropía cruzada.
Para predecir la posición futura de la pelota, el equipo varía cuánto historial de vídeo recibe el modelo y a qué distancia temporal están los fotogramas. Las pruebas con distintos historiales incluyen SigLIP 2 y V-JEPA 2. V-JEPA 2 no se evalúa con una sola entrada de fotograma porque su procesamiento de vídeo requiere grupos de al menos dos fotogramas.
Por último, los investigadores introducen estimaciones visuales en un sistema de difusión condicional del movimiento. La difusión es un proceso que genera una secuencia de movimiento y la va perfeccionando progresivamente hasta obtener una que se ajuste a la información de condicionamiento. En este caso, el condicionamiento procede de las estimaciones de la escena de tenis. Así se conectan la percepción y la predicción con una posible acción, aunque el experimento demuestra la generación de movimiento, no que un robot juegue físicamente al tenis.
¿Por qué es importante para la robótica?
Muchos robots deben tomar decisiones a partir de cámaras que se mueven con el robot, en lugar de usar puntos de vista fijos desde arriba. Un robot móvil necesita interpretar imágenes cambiantes mientras gira, camina o extiende el brazo. El tenis es una prueba especialmente exigente de este reto: la pelota se mueve rápidamente, puede desaparecer de la vista y debe interpretarse en relación tanto con el jugador como con la pista.
El estudio ofrece a los desarrolladores de robots una forma estructurada de preguntar si un modelo de visión puede hacer algo más que reconocer objetos en una imagen fija. ¿Puede estimar dónde está un objeto en movimiento? ¿Puede predecir adónde irá? ¿Puede identificar qué acción está a punto de realizar una persona? Los resultados también convierten la profundidad y el historial de entrada en decisiones prácticas de diseño que conviene evaluar, en lugar de dar por sentado que más fotogramas o un modelo más grande siempre producen mejores resultados.
El paso de generación de movimiento apunta a una vía a más largo plazo desde la percepción hasta el control: las estimaciones visuales pueden servir para proponer un movimiento, que el sistema de control de un robot podría ejecutar y perfeccionar después. Esto hace que el trabajo sea relevante para humanoides ágiles, incluidos los sistemas que deben reaccionar ante objetos o personas en movimiento. Puedes explorar robots humanoides en Robot Overflow. Las mismas cuestiones sobre los puntos de vista móviles y las reacciones oportunas también se aplican a las plataformas móviles en instalaciones concurridas, incluidos los robots de almacén.
¿Cuáles son las limitaciones y las preguntas abiertas?
El tenis es una prueba de esfuerzo útil, pero solo representa un entorno. Los resultados no demuestran que los mismos modelos o la misma estrategia de adaptación funcionen igual de bien para atrapar, lanzar, practicar deportes de equipo o navegar entre personas que se mueven rápidamente. Esos entornos difieren en la apariencia de los objetos, el movimiento, las oclusiones y las acciones que debe realizar un robot.
Los experimentos descritos tampoco llegan a que un robot físico controle un partido real. Generar movimientos de cuerpo completo a partir de estimaciones visuales es un paso hacia la acción, no una prueba de control seguro y fiable en tiempo real. Un robot también tendría que gestionar los retrasos de percepción, los errores de predicción, el equilibrio, las fuerzas de contacto y la seguridad de las personas que lo rodean.
Por último, los resultados proporcionados no incluyen puntuaciones numéricas detalladas para cada tarea o modelo. Por tanto, con este resumen no es posible juzgar los niveles de error exactos, comparar diferencias ni evaluar cuánto supera un modelo a otro. Los estudios futuros deberían informar de esas puntuaciones y comprobar hasta qué punto el enfoque puede aplicarse a otros contextos, más allá de las grabaciones de tenis.
¿Qué preguntas hacen con más frecuencia los lectores?
¿El sistema crea un robot que juega al tenis? No. Predice información a partir de vídeos de tenis y demuestra la generación de movimientos corporales, pero no muestra a un robot jugando físicamente al tenis.
¿Con qué frecuencia se etiqueta la pelota en la vista del jugador? La posición bidimensional de la pelota está anotada en el 97.4% de los fotogramas; las oclusiones explican el resto.
¿Los historiales de vídeo más largos mejoran las predicciones? No de forma sistemática. Los experimentos indican que añadir más historial visual no necesariamente mejora la predicción de la posición futura de la pelota.
¿Qué mejoró más la localización de la pelota? Según los resultados del estudio, añadir información de profundidad mejoró sustancialmente la localización.
¿Cuál es la conclusión principal?
Este trabajo evalúa modelos de visión en los retos interrelacionados de localizar una pelota, comprender el estado de un jugador y anticipar lo que sucederá a continuación desde una cámara en movimiento. Concluye que las fortalezas de cada modelo dependen de la tarea, que la profundidad puede mejorar la localización y que un mayor historial de vídeo no siempre resulta más útil.