Ego4D y Ego-Exo4D se encuentran entre los mayores proyectos de recopilación de datos egocéntricos: ofrecen miles de horas de vídeo de una amplia variedad de actividades y participantes. Los conjuntos de datos de esta escala permiten desarrollar sistemas para el aprendizaje y la evaluación de habilidades, la comprensión de actividades procedimentales, la IA corporeizada y el aprendizaje por imitación robótica, así como sistemas de entrenamiento o tutoría que ofrecen comentarios sobre el desempeño físico.
Introducción
Ego4D y Ego-Exo4D se encuentran entre los mayores proyectos de recopilación de datos egocéntricos: ofrecen miles de horas de vídeo de una amplia variedad de actividades y participantes. Los conjuntos de datos de esta escala permiten desarrollar sistemas para el aprendizaje y la evaluación de habilidades, la comprensión de actividades procedimentales, la IA corporeizada y el aprendizaje por imitación robótica, así como sistemas de entrenamiento o tutoría que ofrecen comentarios sobre el desempeño físico.
Ego-Exo4D es, en particular, un conjunto de datos muy completo, con extensas capturas que incluyen un sensor egocéntrico y varias cámaras exocéntricas, todas sincronizadas y calibradas. En principio, esta configuración multicámara debería mejorar significativamente la calidad de la percepción humana en 3D, ya que las cámaras exocéntricas captan el cuerpo entero de quien realiza la actividad. Sin embargo, las anotaciones 3D existentes en el conjunto de datos son escasas, y los sistemas actuales de reconstrucción humana en 3D pueden ser poco fiables a esta escala.
Para ampliar las posibilidades de uso del conjunto de datos, desarrollamos un sistema para recuperar el movimiento humano en 4D de las capturas de Ego-Exo4D. Nuestro enfoque se basa en métodos de vanguardia para reconstruir poses humanas en 3D, adaptados para aprovechar la configuración sincronizada de varias cámaras de Ego-Exo4D. Publicamos las secuencias de movimiento SMPL-H resultantes como el conjunto de datos Ego-Exo4D-HM, junto con nuestro sistema de procesamiento, para que futuros trabajos puedan usar estos datos directamente sin tener que volver a procesar las capturas originales.
Antecedentes
Trabajos anteriores han abordado por separado el problema de recuperar la pose corporal en entornos egocéntricos. EgoEgo se basa únicamente en la trayectoria SLAM de la cámara montada en la cabeza, sin acceso a observaciones de imágenes, mientras que trabajos más recientes, como EgoAllo, incorporan observaciones de las manos estimadas a partir de imágenes egocéntricas. En este contexto, las cámaras exocéntricas de Ego-Exo4D simplifican el problema, ya que captan el cuerpo desde varias perspectivas.
Además de la IA corporeizada, comprender y modelar la actividad humana es fundamental para evaluar habilidades, ofrecer entrenamiento y predecir vídeo. Trabajos anteriores han utilizado estimaciones del movimiento 3D en entornos egocéntricos para ofrecer comentarios prácticos, predecir interacciones futuras, anticipar movimientos de las manos y adaptar los movimientos de principiantes al nivel de habilidad de expertos. Prevemos que incorporar a gran escala estimaciones densas del movimiento 3D en las capturas egocéntricas y exocéntricas será útil para desarrollar estos métodos.
Métodos
A partir de vídeo egocéntrico y exocéntrico sincronizado del conjunto de datos de actividades Ego-Exo4D, nuestro objetivo es reconstruir el movimiento 3D del cuerpo y las manos de la persona que realiza la actividad en el marco global. Partimos de SLAHMR, que puede ampliarse de forma natural a configuraciones multicámara. Al igual que SLAHMR, representamos el estado de la persona en cada instante mediante una representación paramétrica del cuerpo humano.
El estado de la persona en cada instante se representa mediante los parámetros necesarios para describir la pose y la forma del cuerpo y las manos, así como el movimiento en el marco global.
Nuestro sistema de recuperación de mallas modifica SLAHMR para aprovechar las calibraciones exocéntricas y las estimaciones SLAM egocéntricas de Ego-Exo4D. En concreto, consta de tres etapas:
- Estimación de pose en una sola vista
- Triangulación
- Optimización de SMPL-H
Estimación de pose en una sola vista
Las tomas suelen incluir personas ajenas a la actividad, por lo que primero identificamos a quien lleva la cámara en cada vista exocéntrica. Ejecutamos un detector Mask R-CNN con una red troncal RegNetY-4GF y conservamos la detección cuyo recuadro contiene la posición 3D proyectada de la cabeza de esa persona, obtenida de la trayectoria SLAM de Aria.
Para cada recuadro seleccionado, ejecutamos ViTPose para obtener puntos clave del cuerpo y usamos HaMeR para obtener puntos clave de las manos. En total, obtenemos 67 puntos clave de las manos y el cuerpo.
Triangulación
Triangulamos cada uno de los 67 puntos clave de forma independiente en cada fotograma, minimizando el error de reproyección en todas las vistas calibradas mediante mínimos cuadrados no lineales sobre el punto 3D. Se requieren al menos dos vistas.
Para los puntos clave de las manos y las muñecas, más propensos a la oclusión y a las detecciones erróneas, también aplicamos RANSAC a las vistas para descartar detecciones atípicas.
Conjunto de datos seleccionado
Ejecutamos nuestro sistema en un subconjunto de aproximadamente 3,200 vídeos del conjunto de datos Ego-Exo4D. A continuación, aplicamos un filtro de calidad basado en dos criterios para cada toma.
Coherencia interna de la reproyección
Reproyectamos las articulaciones 3D optimizadas finales a través de las cámaras calibradas y medimos la distancia en píxeles respecto de las detecciones 2D correspondientes. Marcamos una toma si más del 10% de estas muestras superan los 50 píxeles.
Cobertura de la triangulación
Marcamos una toma si se trianguló correctamente menos del 50% de las observaciones de sus puntos clave. Así detectamos las tomas reconstruidas a partir de muy pocas vistas coincidentes.
Resultados cuantitativos
Evaluamos la precisión de la reconstrucción frente a las anotaciones de puntos clave 3D del cuerpo y las manos de referencia proporcionadas por Ego-Exo4D. Dado que nuestras reconstrucciones se encuentran directamente en el marco global métrico del conjunto de datos, informamos el MPJPE global: la distancia euclidiana media entre las articulaciones 3D predichas y las anotadas, sin aplicar ninguna alineación.
Nuestro método obtiene:
- MPJPE global del cuerpo: 56.21 mm en 845 tomas anotadas
- MPJPE global de las manos: 51.59 mm en 190 tomas anotadas
Comparación con MAMMA
También comparamos cualitativamente nuestro método con MAMMA, un método reciente de recuperación de mallas a partir de varias vistas. En las vistas parciales del cuerpo, las oclusiones y los recortes habituales en las capturas de Ego-Exo4D, observamos que nuestro sistema produce reconstrucciones más robustas que MAMMA.
Agradecimientos
Este proyecto recibió apoyo informático en el clúster de GPU Lonestar6 a través del Center for Generative AI y el Texas Advanced Computing Center de la University of Texas at Austin.
Preguntas frecuentes
¿Qué es el conjunto de datos Ego-Exo4D-HM? Es un conjunto de secuencias de movimiento SMPL-H recuperadas de capturas de Ego-Exo4D, publicado junto con el sistema de procesamiento.
¿Qué datos utiliza el sistema de reconstrucción? Utiliza vídeo egocéntrico y exocéntrico sincronizado, calibraciones de las cámaras exocéntricas y estimaciones SLAM egocéntricas.
¿Cuántos puntos clave se reconstruyen? El sistema obtiene y triangula 67 puntos clave de las manos y el cuerpo.
¿Qué MPJPE global obtiene el método? Obtiene 56.21 mm para los puntos clave del cuerpo y 51.59 mm para los de las manos.