Inferencia con ventana deslizante y deduplicación
Al final de cada ventana, la nube de características se voxeliza según las posiciones objetivo predichas. A diferencia de la voxelización por fotograma utilizada durante la codificación, esta operación fusiona puntos de múltiples fotogramas de origen.
Esta fusión entre fotogramas es válida porque ahora todos los puntos se siguen hasta el mismo instante objetivo. Por tanto, el método aprovecha la regla de que dos entidades no pueden ocupar el mismo vóxel al mismo tiempo.
Detalles de implementación
Las posiciones objetivo y las trayectorias predichas se supervisan mediante una pérdida L2 con respecto a los datos de referencia 3D. La visibilidad y la clasificación estática/dinámica se supervisan, cada una, mediante una pérdida de entropía cruzada.
Dado que los conjuntos de datos de entrenamiento proporcionan trayectorias de referencia solo para un subconjunto de puntos, las pérdidas se calculan únicamente sobre los puntos etiquetados. Para ahorrar cómputo, durante el entrenamiento se decodifican trayectorias completas para un subconjunto de puntos dinámicos.
Experimentos
TrackEverything se evalúa en bancos de pruebas estándar de seguimiento de puntos 3D y se compara con métodos de referencia de seguimiento tanto disperso como denso. Más allá de evaluar el modelo, la evaluación busca ofrecer una comparación exhaustiva entre los paradigmas de métodos y esclarecer las ventajas y desventajas en este ámbito.
Conclusión
Este material se basa en un trabajo respaldado parcialmente por una beca NSF Career, una ayuda de ONR N00014-23-1-2415 y una subvención de AFOSR FA9550-23-1-0257. Las opiniones, los hallazgos y las conclusiones o recomendaciones expresados en este material pertenecen a los autores y no reflejan necesariamente las opiniones de la Fundación Nacional de Ciencias.
Ayush Jain fue becario de verano en Meta durante la fase inicial del proyecto y también recibió apoyo parcial de la Meta AI Mentorship Fellowship. Los autores agradecen a Yash Jangir, Jay Karhade, Nikhil Keetha, Ananya Bal, Gabriel Sarch, Naitik Khandelwal y Brian Yang por sus útiles conversaciones y su apoyo.
Detalles adicionales del método y la implementación
Se ilustran visualmente dos componentes del modelo: la deduplicación mediante ventana deslizante y 3D WAFT.
Correcciones del conjunto de datos PointOdyssey
Durante las ejecuciones de entrenamiento se observaron picos de pérdida significativos, que se atribuyeron al conjunto de datos PointOdyssey. Se identificaron varios errores críticos de anotación y se desarrolló un proceso programático de corrección.
Secuencias temporalmente incoherentes
La secuencia scene_recording_20210910_S05_S06_0_ego1 presenta una trepidación de cámara de subfotograma que no puede resolverse mediante un desplazamiento entero de fotogramas. Se excluye de las particiones de entrenamiento y evaluación.
También se exploraron brevemente las máscaras de segmentación de objetos como forma de eliminar etiquetas incorrectas de las trayectorias de puntos. El enfoque se basaba en que un punto que se origina dentro de la máscara de segmentación de un objeto debería permanecer siempre dentro de ella.
Sin embargo, la máscara de segmentación también contenía errores, lo que hacía inviable este enfoque.
Las correcciones del conjunto de datos PointOdyssey se publicarán junto con la base de código. Estas correcciones redujeron los picos de pérdida, aunque algunos puntos ruidosos permanecen en el conjunto de datos y no pudieron corregirse.
Análisis de complejidad
El análisis de complejidad se repitió usando la métrica APD-P en lugar de APD-M. Los resultados muestran que todas las conclusiones siguen siendo similares.
Preguntas frecuentes
¿Qué hace la deduplicación mediante ventana deslizante? Voxeliza la nube de características usando las posiciones objetivo predichas y fusiona puntos de múltiples fotogramas de origen.
¿Por qué es válida la fusión entre fotogramas? Todos los puntos se siguen hasta el mismo instante objetivo, en el que dos entidades no pueden ocupar simultáneamente el mismo vóxel.
¿Qué pérdidas supervisan TrackEverything? Las posiciones objetivo y las trayectorias predichas utilizan una pérdida L2, mientras que la visibilidad y la clasificación estática/dinámica utilizan pérdidas de entropía cruzada.
¿Qué problema se encontró en el conjunto de datos PointOdyssey? El conjunto de datos contenía errores de anotación, incluida una secuencia con trepidación de cámara de subfotograma irresoluble y puntos ruidosos adicionales.