Trabajos relacionados
Estudiamos cómo los objetos conservados, sus posiciones estimadas, sus historiales de movimiento y sus descripciones contextuales ayudan a responder distintas preguntas espaciales. Los errores geométricos pueden desplazar un objeto o hacer que parezca que se ha movido. Por ello, evaluamos cómo afectan estos errores a las respuestas, además de su efecto en la localización.
Método
Ledger (Long-horizon Egocentric Descriptions, Geometry, and Event Records) construye sin conexión una memoria persistente de objetos a partir de una grabación egocéntrica y de poses de cámara proporcionadas o estimadas. Se construye una sola vez por grabación, independientemente de cualquier pregunta. Después, la memoria se reutiliza para responder preguntas espaciales y localizar objetos con nombre. En UCS-Bench, consultarla cuesta unos 2.0k tokens de entrada por pregunta, frente a 9.6k para 48 fotogramas muestreados.
Construcción de la memoria sin conexión
Detección y geometría. Qwen3.5-9B asigna nombres a los objetos en fotogramas muestreados. La fusión de sinónimos genera un vocabulario para YOLO-World, de modo que los objetos se incorporan a la memoria tanto si quien lleva la cámara los toca como si no, dentro de los límites de detección y de elevación a 3D. A partir de la imagen, el recuadro de detección y la etiqueta, WildDet3D predice un recuadro 3D en coordenadas de cámara, y la pose de cámara sitúa su centro en coordenadas de escena.
Razonamiento en el momento de la consulta
Respuesta. Las etiquetas recuperadas, las señales de clasificación y los historiales de segmento (tiempos, posiciones y descripciones) se presentan como texto. Una única llamada a Qwen3.5-9B o GPT-5.4 responde basándose en estas pruebas, la pregunta y sus opciones.
Las consultas de HD-EPIC usan la memoria completa. Para las consultas de UCS-Bench con marca temporal, las instantáneas eliminan las observaciones y descripciones posteriores, truncan los historiales y la trayectoria de quien lleva la cámara, y recalculan las posiciones. Esto filtra la información que ve quien responde, pero no hace que la construcción sea causal.
Experimentos
Primero mostramos tres memorias que responden sobre una misma secuencia. A continuación, cinco preguntas de investigación relacionan los resultados de los benchmarks con intervenciones en la memoria, y un apéndice analiza los fallos por etapa.
Conclusiones y limitaciones
Ledger permite reutilizar observaciones pasadas de objetos para responder preguntas espaciales y localizar objetos. Incluir objetos que no se han tocado permite responder preguntas sobre elementos fijos, y la persistencia y las descripciones contextuales aportan más que el refinamiento de coordenadas; la falta de pruebas sobre eventos y las identidades fragmentadas limitan la interacción y el recuento. Las comparaciones entre memorias dependen del modelo que las consulta, y los cambios de escena perjudican tanto la recuperación como la construcción, aunque construir una memoria por escena lo corrige en parte. Las evaluaciones deberían medir las pruebas que permiten responder, además de la localización, e indicar los límites de recuperación y las fronteras entre escenas.
Poses de cámara y elevación de objetos
Usamos trayectorias calibradas del dispositivo en HD-EPIC y poses registradas de EgoLoc en VQ3D. Para estimar las poses, usamos FastVGGT, una aceleración de VGGT que no requiere entrenamiento. Procesa fragmentos de 96 fotogramas con 16 fotogramas de solapamiento. Alineamos los fragmentos adyacentes mediante una transformación Sim(3) estimada a partir de los fotogramas compartidos.
Estas poses estimadas tienen una escala arbitraria. Para recuperar la escala métrica, la canalización compara pares de observaciones del mismo objeto estático con sus posiciones métricas predichas en coordenadas de cámara. Este paso falla en la mayoría de las grabaciones de UCS-Bench y en todas las grabaciones de TeleEgo. Por tanto, las distancias de esas memorias se expresan en unidades de escena.
A partir de una imagen, un recuadro 2D y una etiqueta de objeto, WildDet3D predice un recuadro 3D métrico en coordenadas de cámara. Usamos su centro como posición del objeto. Así evitamos seleccionar píxeles de un mapa de profundidad denso, donde pueden mezclarse las superficies del objeto y del fondo. Aunque el recuadro predicho es métrico, su posición en coordenadas de escena solo es métrica si las poses de cámara también tienen una escala conocida.
En el análisis anterior de HD-EPIC, el error mediano de localización fue de 0.39 m, con una componente mediana a lo largo del rayo de 0.37 m. Esto motiva el uso de varias vistas con poses de cámara conocidas para refinar las posiciones de los objetos.
En el piloto de UCS-Bench, se descartaron dos reconstrucciones de Depth Anything 3. Sus proporciones de escala entre fragmentos fueron 1.16 y 1.58, y sus residuos de alineación en los límites entre fragmentos fueron 0.67 y 7.10 m, respectivamente. Usamos FastVGGT como alternativa; también admite grabaciones con ojo de pez, pero por sí solo no proporciona escala métrica.
Asociación y consolidación
La memoria de trayectorias agrupa observaciones en 3D y las asocia cronológicamente por etiqueta y proximidad a la posición más reciente de una instancia. Las detecciones del mismo fotograma se mantienen separadas, salvo que sean duplicados superpuestos.
Una segunda pasada, denominada consolidación, vuelve a conectar trayectorias que podrían pertenecer al mismo objeto. Agrupa trayectorias con etiquetas sinónimas, usa el rastreador de vídeo SAM 3 para propagar sus máscaras entre fotogramas y fusiona las trayectorias cuyas máscaras propagadas coinciden. Las comprobaciones de coaparición y distancia 3D impiden fusiones incompatibles.
Usamos la consolidación en HD-EPIC y UCS-Bench. En VQ3D, comparamos memorias sin procesar, de trayectorias y consolidadas, con un radio de asociación de trayectorias de 1.0 m y un umbral de mask-IoU de consolidación de 0.3. En UCS-Bench, se impiden las fusiones cuando la distancia 3D supera 1.0, medida en unidades de escena cuando no se dispone de escala métrica. Incluso con la consolidación, un objeto puede recibir una nueva identidad tras una ausencia prolongada o un desplazamiento grande.
Persistencia y descripciones contextuales
La segmentación por umbral de distancia inicia un segmento nuevo en cuanto una observación queda a más de el umbral de distancia especificado respecto a la posición de reposo actual. Nuestra regla de persistencia espera hasta el número especificado de observaciones sucesivas fuera de ese radio antes de confirmar un segmento nuevo. Si las observaciones vuelven al radio antes de la confirmación, permanecen en el segmento actual.
En HD-EPIC, usamos el umbral de distancia especificado en metros y el número de persistencia especificado. Usamos los mismos valores en UCS-Bench, pero medimos el radio en unidades de escena cuando no se dispone de escala métrica. Un apéndice compara las dos reglas.
Para un máximo de seis segmentos por objeto, Qwen3.5-9B describe un fotograma representativo en el que el objeto aparece contorneado. Estas descripciones registran detalles que las posiciones por sí solas no capturan, como el contenido del objeto, la superficie que lo sostiene y las interacciones.
En las ejecuciones de HD-EPIC presentadas, primero generamos descripciones para los segmentos definidos por umbral de distancia. Después, cada segmento de persistencia heredó la descripción del segmento con el mayor solapamiento temporal. Por tanto, la ablación de persistencia también cambia las descripciones que aparecen en los registros; no mantiene fija toda la información textual. Las descripciones de actividad adicionales para fotogramas muestreados en las extensiones de UCS-Bench se detallan en un apéndice.
Refinamiento multivista
Observar un objeto en reposo desde varios puntos de vista ayuda a acotar su posición 3D. El centro de cada recuadro detectado define un rayo de visión desde la cámara. Dados los centros de cámara de las observaciones y las direcciones unitarias de los rayos de visión correspondientes, estimamos el punto que minimiza la suma de las distancias al cuadrado a esos rayos.
Análisis del movimiento y del estado estacionario
Con 0.3 m, la regla de umbral sobreestima el movimiento en el 64% de estas preguntas. Un umbral de distancia mayor reduce el ruido de localización, pero puede pasar por alto movimientos pequeños. En las anotaciones, el 19% de los desplazamientos son inferiores a 0.3 m y el 50% son inferiores a 0.8 m. Mientras tanto, el percentil 95 del error de localización es de 0.84 m. La persistencia mejora los recuentos de movimiento en preguntas cuyo objetivo ya está en la memoria, lo que permite separar los errores de segmentación de los fallos al retener el objetivo. El sesgo y los recuentos medios se redondean por separado.
Las preguntas de localización en estado estacionario plantean cuándo dejó de moverse un objeto y permaneció quieto. En el análisis anterior, elegir la marca temporal de respuesta más cercana al inicio de un segmento de reposo solo es correcto en el 22% de las preguntas, frente al 20% que se obtendría por azar. Esto sugiere que los tiempos de observación muestreados no permiten identificar de forma fiable cuándo comenzó el reposo continuo. Sin embargo, la memoria no siempre perjudica este tipo de pregunta: las ejecuciones actuales de Qwen y GPT muestran efectos opuestos.
Datos de desarrollo y coste
Desarrollamos las reglas de segmentación y recuperación, los umbrales de triangulación y los grupos de sinónimos para elementos fijos usando 5–10 vídeos piloto de un conjunto de datos de calibración separado del de evaluación.
En una medición anterior, realizada en una GPU de 24 GB, WildDet3D tardó 0.85, 0.99 y 0.94 segundos por detección con resoluciones de entrada de 1802, 960 y 480 píxeles, respectivamente. Cada recuadro se procesa con una resolución interna fija, por lo que reducir la resolución de entrada no reduce el tiempo de procesamiento de forma sistemática. La generación de descripciones puede dominar el tiempo de ejecución total en vídeos con muchos objetos. Estos tiempos por componente no miden el rendimiento integral ni la compresión de la memoria.
Protocolo e interpretación de VQ3D
Evaluamos las 164 consultas de los 44 clips de Ego4D del conjunto de validación de VQ3D. Cada objetivo tiene dos anotaciones 3D, las dos anotaciones proporcionadas por el benchmark, en el sistema de coordenadas de la exploración. Recuperamos una instancia de objeto por su nombre y devolvemos su posición mundial almacenada. No comparamos este método con otro sistema idéntico salvo por recuperar objetos de recortes de consulta.
Medimos el error respecto al punto medio de las dos anotaciones. El éxito condicional utiliza el umbral de éxito especificado por el benchmark.
Este umbral es poco exigente. Unido a la exclusión de las consultas sin respuesta, produce un éxito condicional casi perfecto incluso cuando los errores de localización alcanzan varios metros. Antes de comparar resultados en una clasificación, todavía tenemos que calcular el éxito sobre todas las consultas y la métrica oficial de agregación del benchmark con el código de evaluación del benchmark. Los resultados publicados y las diferencias restantes en el protocolo se enumeran en un apéndice.
Evaluamos una consulta solo cuando la recuperación devuelve un candidato. La memoria SAM 3 sin procesar devuelve candidatos para 143 de 164 consultas, y la memoria de trayectorias, para 153. Por tanto, cada variante se evalúa con sus propias consultas respondidas, no con un conjunto común. Una tasa de éxito condicional del 99% o un error mediano inferior a un metro no implica una localización correcta en el 99% de todas las consultas. Estos resultados no demuestran el éxito en todas las consultas ni una mejora integral en la tarea oficial de VQ3D.
Ajustes de implementación de VQ3D
Muestreamos uno de cada veinte fotogramas de una secuencia de 5 fps, es decir, un fotograma cada cuatro segundos. YOLO-World usa v8x-worldv2 a 640 píxeles, con un umbral de confianza de 0.25 y un máximo de 12 detecciones por fotograma. Elevamos a 3D un máximo de 25 detecciones por etiqueta y 400 por escena. La asociación de trayectorias usa un radio de 1.0 m, y la consolidación, un umbral de mask-IoU de 0.3.
Las tablas de localización usan GPT-5.4 para elegir entre un máximo de cuatro candidatos. Solo evaluamos Qwen para el etiquetado y la evaluación de cobertura, por lo que estos resultados no demuestran una canalización de localización construida íntegramente con modelos abiertos. También evaluamos FastVGGT como fuente alternativa de poses de cámara.
Protocolo de UCS-Bench
Muestreamos un fotograma cada cuatro segundos y usamos la misma canalización que en HD-EPIC: Qwen3.5-9B para el etiquetado, YOLO-World para la detección, WildDet3D para la elevación a 3D, SAM 3 para la consolidación, y después segmentación por persistencia y descripciones de segmentos.
Usamos las poses de Depth Anything 3 cuando superan tres comprobaciones de coherencia: un residuo de alineación entre fragmentos de como máximo 0.5 m, escalas de fragmento dentro de el intervalo de escala especificado y desplazamientos de cámara de como máximo 6 m. De lo contrario, usamos FastVGGT. Las grabaciones con ojo de pez circular se procesan directamente con FastVGGT. Intentamos recuperar la escala métrica usando pares de observaciones del mismo objeto. Esto falla en la mayoría de las grabaciones y en todas las grabaciones de TeleEgo, por lo que sus distancias permanecen en unidades de escena.
Para cada pregunta, filtramos la memoria en su marca temporal. Eliminamos las observaciones, los segmentos y las descripciones posteriores, truncamos el segmento actual y la trayectoria de quien lleva la cámara, y recalculamos las posiciones. También excluimos los resúmenes de objetos escritos a partir de todos los segmentos. El adaptador clasifica las entradas según una puntuación basada en coincidencias entre las palabras de la pregunta y los nombres y descripciones, además de la diferencia temporal, en segundos, respecto a la observación más cercana. Quien responde recibe las cuatro entradas mejor clasificadas y la trayectoria de quien lleva la cámara.
Recuento
El uso de la memoria no mejora el recuento, y mostrar sus recuentos al modelo que responde cuesta 6.4 puntos. Evaluamos los recuentos en 257 preguntas con respuestas numéricas cuyo sustantivo objetivo aparece en la memoria. El recuento de trayectorias da la respuesta correcta en el 11% de las preguntas y queda a una unidad de la respuesta en el 22%. La estimación mediana es de siete objetos, frente a un recuento real de tres. Usar el mayor número de trayectorias visibles en un solo fotograma mejora estas tasas al 16% y al 45%, respectivamente.
La memoria divide un mismo objeto en varias trayectorias y también omite otros objetos. En las grabaciones sin escala métrica, el umbral fijo de distancia 3D del paso de consolidación bloquea el 98% de las fusiones propuestas. Al eliminar esta comprobación, el número de objetos almacenados baja de 6,490 a 4,404 en 12 grabaciones, sin reducir la precisión general medida. El recuento sigue siendo un problema sin resolver: las dos configuraciones obtienen un 33.7% y un 31.6% en 95 preguntas de recuento, ambas por debajo del 35.8% de la respuesta a ciegas. Los fotogramas ayudan a contar acciones y personas, pero los recuentos de objetos siguen cerca del resultado a ciegas. Estos resultados señalan la asociación de instancias y una escala geométrica coherente durante la construcción como prioridades para mejorar el recuento de objetos.
Piloto de desarrollo y construcción causal
Desarrollamos el adaptador con un piloto de diez vídeos y 138 preguntas. Por tanto, estos resultados no corresponden a una evaluación con datos reservados. La primera versión obtuvo un 36.2%, frente al 25.4% del control a ciegas, pero incluía información futura. En 57 preguntas, recuperó un candidato observado por primera vez después de la hora de la pregunta, y el 43.6% de los puntos de paso de la trayectoria mostrada correspondían al futuro. Excluimos esta mejora de nuestras afirmaciones.
El filtrado por marca temporal descrito anteriormente elimina del prompt la información futura explícita. En el piloto, la memoria filtrada obtiene un 38.4% con GPT-5.4, frente al 31.9% a ciegas: una mejora de 6.5 puntos con un intervalo de el intervalo comunicado. Las etiquetas de dirección, los episodios de relaciones y el contexto del lugar no aportan una mejora adicional medible.
Sin embargo, la construcción sigue usando la grabación completa. El vocabulario se basa en fotogramas de todo el vídeo, y la estimación de poses, la consolidación y la segmentación se ejecutan sin conexión. Filtrar sus resultados no demuestra que los estados de memoria anteriores sean independientes de los fotogramas posteriores. Para establecerlo, tendríamos que construir cada etapa usando únicamente el metraje disponible hasta la hora de cada pregunta y verificar que añadir metraje no modifica esos estados anteriores. Por tanto, describimos estas ejecuciones como filtradas por marca temporal, no como una evaluación en flujo validada.
Repetir GPT-5.4 con entradas idénticas cambia la opción seleccionada en aproximadamente una cuarta parte de las preguntas piloto. Por ello, nuestras afirmaciones principales se basan en comparaciones emparejadas entre miles de preguntas, no en estas estimaciones piloto.
Ajustes de implementación de UCS-Bench
El etiquetado usa un máximo de 80 fotogramas por grabación, con un presupuesto de 130 tokens por fotograma. La detección se ejecuta a 1280 píxeles con un umbral de confianza t
Preguntas frecuentes
¿Qué es Ledger? Ledger es un sistema sin conexión que construye una memoria persistente de objetos a partir de vídeo egocéntrico para responder preguntas espaciales y localizar objetos con nombre.
¿Cómo estima Ledger las posiciones de los objetos? WildDet3D predice recuadros 3D en coordenadas de cámara, y las poses de cámara sitúan sus centros en coordenadas de escena. Varias vistas pueden ayudar a refinar las posiciones.
¿Por qué el sistema usa segmentación por persistencia? La persistencia espera observaciones sucesivas fuera de un umbral de distancia antes de confirmar un movimiento, lo que reduce la sobreestimación del movimiento causada por el ruido de localización.
¿Cuáles son las principales limitaciones descritas? Las identidades fragmentadas, la falta de pruebas sobre eventos y los errores de recuento siguen siendo retos. La construcción sin conexión también implica que el filtrado por marca temporal no demuestra una evaluación en flujo validada.