에고센트릭 비디오의 공간 질의를 위한 지속형 3D 객체 메모리 (2026)

방법

Ledger(Long-horizon Egocentric Descriptions, Geometry, and Event Records)는 에고센트릭 녹화 영상과 제공되거나 추정된 카메라 포즈를 바탕으로 오프라인에서 지속형 객체 메모리를 구축합니다. 메모리는 녹화 영상마다 한 번 구축되며, 질문과는 독립적으로 생성됩니다. 이후 공간 질의응답과 이름 기반 객체 위치 추정에 재사용됩니다. UCS-Bench에서는 메모리를 읽는 데 질문당 입력 토큰 약 2.0k개가 들며, 이는 48개 샘플 프레임을 사용할 때의 9.6k개와 비교됩니다.

오프라인 메모리 구축

객체 탐지와 기하 정보. Qwen3.5-9B가 샘플 프레임의 객체 이름을 지정합니다. 동의어를 통합해 YOLO-World에 사용할 어휘를 구성하므로, 탐지 및 3D 변환 예산 범위 안에서는 착용자가 접촉하지 않은 객체도 메모리에 들어갑니다. WildDet3D는 이미지와 탐지 상자, 레이블을 입력으로 받아 카메라 좌표계의 3D 상자를 예측하고, 카메라 포즈를 사용해 상자 중심을 장면 좌표계에 배치합니다.

질의 시점 추론

답변 생성. 검색된 레이블과 순위 산정 신호, 세그먼트 이력(시간, 위치, 설명)을 텍스트로 변환합니다. Qwen3.5-9B 또는 GPT-5.4를 한 번 호출해 이 근거와 질문, 선택지를 바탕으로 답변을 생성합니다.

HD-EPIC 질의에는 완성된 메모리를 사용합니다. 타임스탬프가 있는 UCS-Bench 질의에서는 스냅샷에서 이후 관측과 설명을 제거하고, 이력과 착용자의 이동 경로를 잘라낸 뒤 위치를 다시 계산합니다. 이렇게 하면 메모리 구축을 인과적으로 수행하지 않으면서도 답변 생성기가 볼 수 있는 정보를 필터링합니다.

실험

먼저 하나의 스트림에서 세 가지 메모리를 사용해 답변을 생성한 결과를 보여줍니다. 이어지는 다섯 가지 연구 질문에서는 벤치마크 결과와 메모리 개입을 연결하고, 부록에서는 단계별 실패 양상을 분석합니다.

결론 및 한계

Ledger는 과거의 객체 관측을 공간 질의응답과 위치 추정에 재사용할 수 있게 합니다. 접촉하지 않은 객체를 포함하면 고정물에 관한 질문에 답할 수 있으며, 좌표 정제보다 지속성과 맥락 설명이 더 크게 기여합니다. 반면 누락된 이벤트 근거와 분절된 객체 정체성은 상호작용 및 계수의 한계로 이어집니다. 메모리 간 비교 결과는 메모리를 읽는 모델에 따라 달라지며, 장면 변화는 검색과 구축 모두를 방해합니다. 장면별 구축은 이 문제를 일부 보완합니다. 평가에서는 위치 추정뿐 아니라 답변 가능한 근거도 측정하고, 검색 예산과 장면 경계를 명시해야 합니다.

카메라 포즈와 객체의 3D 변환

HD-EPIC에서는 보정된 기기 궤적을, VQ3D에서는 정합된 EgoLoc 포즈를 사용합니다. 포즈 추정에는 VGGT를 학습 없이 가속한 FastVGGT를 사용합니다. FastVGGT는 프레임 16개가 중첩되는 96프레임 청크를 처리합니다. 인접한 청크는 공통 프레임을 사용해 추정한 Sim(3) 변환으로 정렬합니다.

이렇게 추정한 포즈의 스케일은 임의적입니다. 미터법 스케일을 복원하기 위해 파이프라인은 동일한 정적 객체를 관측한 쌍을 비교하고, 카메라 좌표계에서 예측된 미터법 위치를 사용합니다. 이 단계는 대부분의 UCS-Bench 녹화 영상과 모든 TeleEgo 녹화 영상에서 실패합니다. 따라서 해당 메모리의 거리는 장면 단위로 표현됩니다.

이미지와 2D 상자, 객체 레이블을 입력으로 받아 WildDet3D가 카메라 좌표계의 미터법 3D 상자를 예측합니다. 객체의 위치로는 상자 중심을 사용합니다. 이렇게 하면 객체 표면과 배경 표면이 섞일 수 있는 조밀한 깊이 맵에서 픽셀을 선택하지 않아도 됩니다. 예측 상자는 미터법 단위이지만, 장면 좌표계에서의 위치가 미터법 단위가 되려면 카메라 포즈에도 알려진 스케일이 있어야 합니다.

이전 HD-EPIC 분석에서 위치 추정 오차의 중앙값은 0.39 m였으며, 시선 방향 성분의 중앙값은 0.37 m였습니다. 이에 따라 알려진 카메라 포즈를 사용해 여러 시점의 정보를 모아 객체 위치를 정제합니다.

UCS-Bench 파일럿에서는 Depth Anything 3 재구성 두 건을 제외했습니다. 청크 스케일 비율은 1.16과 1.58이었으며, 청크 경계에서의 정렬 잔차는 각각 0.67과 7.10 m였습니다. 대신 FastVGGT를 사용합니다. FastVGGT는 어안 녹화 영상도 처리하지만, 자체적으로 미터법 스케일을 제공하지는 않습니다.

연관 및 통합

궤적 메모리는 관측을 3D 공간에서 군집화하고, 레이블과 각 인스턴스의 가장 최근 위치와의 거리를 기준으로 시간 순서에 따라 연결합니다. 같은 프레임의 탐지 결과는 서로 겹치는 중복 항목이 아닌 한 별도로 유지됩니다.

두 번째 단계인 통합은 같은 객체일 수 있는 궤적을 다시 연결합니다. 이 단계에서는 동의어 레이블을 가진 궤적을 묶고, SAM 3 비디오 추적기를 사용해 프레임 전반에 걸쳐 마스크를 전파한 다음 전파된 마스크가 일치하는 궤적을 병합합니다. 동시 출현 여부와 3D 거리 검사를 통해 호환되지 않는 병합을 차단합니다.

HD-EPIC과 UCS-Bench에서는 통합을 사용합니다. VQ3D에서는 궤적 연관 반경 1.0 m와 통합 마스크-IoU 임계값 0.3을 사용해 원시 메모리, 궤적 메모리, 통합 메모리를 비교합니다. UCS-Bench에서는 미터법 스케일을 사용할 수 없을 때 장면 단위로 측정한 3D 거리가 1.0을 초과하면 병합을 차단합니다. 통합을 하더라도 객체가 오랫동안 관측되지 않거나 크게 이동한 뒤에는 새 정체성이 부여될 수 있습니다.

지속성과 맥락 설명

거리 임계값 분할은 관측 위치가 현재 정지 위치에서 지정된 거리 임계값보다 멀어지는 즉시 새 세그먼트를 시작합니다. 지속성 규칙은 해당 반경을 벗어난 연속 관측 횟수가 지정된 수에 도달할 때까지 기다린 뒤 새 세그먼트를 확정합니다. 확정 전에 관측이 반경 안으로 돌아오면 현재 세그먼트에 그대로 남습니다.

HD-EPIC에서는 지정된 거리 임계값(미터 단위)과 지정된 지속성 횟수를 사용합니다. UCS-Bench에서도 같은 값을 사용하지만, 미터법 스케일을 사용할 수 없을 때는 반경을 장면 단위로 측정합니다. 부록에서 두 규칙을 비교합니다.

객체마다 최대 여섯 개의 세그먼트에 대해 Qwen3.5-9B가 객체의 윤곽을 표시한 대표 프레임을 설명합니다. 이러한 설명에는 객체의 내용물, 객체를 받치는 표면, 위치만으로는 포착할 수 없는 상호작용과 같은 세부 정보가 기록됩니다.

보고된 HD-EPIC 실행에서는 먼저 거리 임계값 기반 세그먼트의 설명을 생성했습니다. 이후 각 지속성 세그먼트는 시간상 가장 많이 겹치는 거리 임계값 세그먼트의 설명을 물려받았습니다. 따라서 지속성 제거 실험에서는 기록에 표시되는 설명도 바뀌며, 모든 텍스트 근거를 고정한 채 비교한 것은 아닙니다. UCS-Bench 확장 실험에서 샘플 프레임에 추가한 활동 설명은 부록에 자세히 설명합니다.

다중 시점 정제

정지한 객체를 여러 시점에서 관측하면 3D 위치를 더 정확히 제한할 수 있습니다. 탐지된 각 상자 중심은 카메라에서 뻗어 나가는 시선 방향을 정의합니다. 관측 시점의 카메라 중심과 각 시선 방향에 대응하는 단위 방향 벡터가 주어지면, 이러한 시선과의 거리 제곱합을 최소화하는 점을 추정합니다.

이동 및 정지 상태 분석

거리 임계값 규칙은 0.3 m에서 질문의 64%에 대해 이동 횟수를 과대 계산합니다. 더 큰 거리 임계값은 위치 추정 노이즈를 줄이지만 작은 움직임을 놓칠 수 있습니다. 주석 데이터에서 이동의 19%는 0.3 m보다 짧고, 50%는 0.8 m보다 짧습니다. 한편 위치 추정 오차의 95백분위수는 0.84 m입니다. 지속성 규칙은 대상 객체가 이미 메모리에 있는 질문에서 이동 횟수 계산을 개선해, 분할 오류와 대상 객체를 저장하지 못한 실패를 구분합니다. 편향과 평균 횟수는 각각 반올림합니다.

정지 상태 위치 추정 질문은 객체가 언제 움직임을 멈추고 계속 정지해 있었는지를 묻습니다. 이전 분석에서 답변 타임스탬프 중 정지 세그먼트 시작 시점에 가장 가까운 것을 선택했을 때 정답률은 22%로, 우연 수준인 20%와 비교해 높지 않았습니다. 이는 샘플링된 관측 시점으로 연속적인 정지가 시작된 시점을 안정적으로 식별할 수 없음을 시사합니다. 그러나 메모리가 이 질문 유형에 항상 불리한 것은 아닙니다. 현재 Qwen과 GPT 실행에서는 서로 반대되는 효과가 나타납니다.

개발 데이터 및 비용

분할 및 검색 규칙, 삼각측량 임계값, 고정물 동의어 그룹은 평가와 분리된 보정 데이터셋의 파일럿 영상 5–10개를 사용해 개발했습니다.

24 GB GPU에서 진행한 이전 측정에서 WildDet3D의 탐지당 처리 시간은 입력 해상도 1802, 960, 480 픽셀에서 각각 0.85, 0.99, 0.94초였습니다. 각 상자는 고정된 내부 해상도로 처리되므로 입력 해상도를 낮춰도 처리 시간이 일관되게 줄어들지는 않습니다. 객체가 많은 영상에서는 설명 생성이 전체 실행 시간의 대부분을 차지할 수 있습니다. 이러한 구성 요소별 처리 시간은 전체 파이프라인의 처리량이나 메모리 압축 성능을 측정한 것이 아닙니다.

VQ3D 프로토콜 및 해석

VQ3D 검증 분할에 포함된 44개의 Ego4D 클립에서 총 164개 질의를 모두 평가합니다. 각 대상에는 스캔 좌표계 기준으로 3D 주석 두 개, 즉 벤치마크에서 제공하는 두 주석이 있습니다. 이름을 사용해 객체 인스턴스를 검색하고 저장된 월드 위치를 반환합니다. 질의 크롭에서 객체를 검색하는, 그 외에는 동일한 시스템과 비교하지 않습니다.

두 주석의 중간점으로부터의 오차를 측정합니다. 조건부 성공률에는 벤치마크에서 지정한 성공 임계값을 적용합니다.

이 임계값은 관대합니다. 답변하지 못한 질의를 제외하면, 위치 추정 오차가 수 미터에 이르는 경우에도 조건부 성공률이 거의 최고치에 도달합니다. 리더보드 결과와 비교하기 전에 벤치마크 평가 코드를 사용해 전체 질의에 대한 성공률과 공식 벤치마크 집계 지표를 계산해야 합니다. 발표된 결과와 나머지 프로토콜 차이는 부록에 정리했습니다.

검색 결과 후보가 반환된 경우에만 질의를 채점합니다. 원시 SAM 3 메모리는 164개 질의 중 143개에서 후보를 반환하고, 궤적 메모리는 153개에서 후보를 반환합니다. 따라서 각 변형은 공통 질의 집합이 아니라 자체적으로 반환한 질의를 대상으로 채점합니다. 조건부 성공률 99% 또는 1미터 미만의 중앙값 오차가 전체 질의의 99%에서 위치를 성공적으로 추정했다는 뜻은 아닙니다. 이 결과로는 전체 질의에 대한 성공이나 공식 VQ3D 과제에서의 종단 간 개선을 입증할 수 없습니다.

VQ3D 구현 설정

5 fps 그리드에서 20프레임마다 샘플링해 4초마다 한 프레임을 사용합니다. YOLO-World는 640 픽셀에서 v8x-worldv2를 사용하며, 신뢰도 임계값은 0.25이고 프레임당 탐지 수는 최대 12개입니다. 태그당 최대 25개, 장면당 최대 400개의 탐지 결과를 3D로 변환합니다. 궤적 연관에는 반경 1.0 m를, 통합에는 마스크-IoU 임계값 0.3을 사용합니다.

위치 추정 표에서는 GPT-5.4가 최대 네 후보 중 하나를 선택합니다. Qwen은 태깅과 커버리지 판정에만 평가에 사용하므로, 이 결과는 전적으로 오픈 모델만으로 구축한 위치 추정 파이프라인을 입증하지 않습니다. 카메라 포즈의 대체 추정 방법으로 FastVGGT도 평가합니다.

UCS-Bench 프로토콜

4초마다 한 프레임을 샘플링하고 HD-EPIC에서와 같은 파이프라인을 사용합니다. 태깅에는 Qwen3.5-9B, 탐지에는 YOLO-World, 3D 변환에는 WildDet3D, 통합에는 SAM 3를 사용한 뒤 지속성 분할과 세그먼트 설명을 수행합니다.

Depth Anything 3 포즈는 세 가지 일관성 검사를 통과하는 경우 사용합니다. 청크 정렬 잔차가 0.5 m 이하여야 하고, 청크 스케일이 지정된 스케일 범위 안에 있어야 하며, 카메라 이동 거리가 6 m 이하여야 합니다. 그렇지 않으면 FastVGGT를 사용합니다. 원형 어안 녹화 영상은 바로 FastVGGT로 처리합니다. 동일 객체를 관측한 쌍을 사용해 미터법 스케일 복원을 시도합니다. 대부분의 녹화 영상과 모든 TeleEgo 녹화 영상에서 이 작업이 실패하므로, 해당 영상의 거리는 장면 단위로 유지됩니다.

각 질문에 대해 메모리를 해당 타임스탬프 기준으로 필터링합니다. 이후의 관측, 세그먼트, 설명을 제거하고 현재 세그먼트와 착용자의 이동 경로를 자른 뒤 위치를 다시 계산합니다. 모든 세그먼트를 사용해 작성한 객체 요약도 제외합니다. 어댑터는 이름과 설명에서 질문 단어가 일치하는 정도에 기반한 점수에 가장 가까운 관측 시점까지의 시간 간격(초)을 더해 항목의 순위를 매깁니다. 답변 생성기에는 상위 네 항목과 착용자의 이동 경로를 전달합니다.

계수

메모리를 사용해도 계수 성능은 개선되지 않으며, 계수 결과를 답변 생성기에 보여주면 성능이 6.4점 낮아집니다. 대상 명사가 메모리에 등장하는 숫자 답변 질문 257개에서 계수를 평가합니다. 궤적을 세면 질문의 11%에서 정답을 맞히고, 22%에서는 정답과 한 개 이내로 차이가 납니다. 추정 객체 수의 중앙값은 일곱 개로, 실제 개수인 세 개보다 많습니다. 단일 프레임에서 보이는 궤적의 최댓값을 사용하면 이 비율은 각각 16%와 45%로 개선됩니다.

메모리에서는 하나의 객체가 여러 궤적으로 나뉘기도 하고 다른 객체가 누락되기도 합니다. 미터법 스케일이 없는 녹화 영상에서는 통합 단계의 고정된 3D 거리 임계값이 제안된 병합의 98%를 차단합니다. 이 검사를 제거하면 12개 녹화 영상에 저장된 객체 수는 6,490개에서 4,404개로 감소하지만, 측정된 전체 정확도는 낮아지지 않습니다. 계수 문제는 여전히 해결되지 않았습니다. 두 설정은 95개 계수 질문에서 각각 33.7%와 31.6%를 기록했으며, 둘 다 메모리를 보여주지 않은 기준 점수 35.8%보다 낮았습니다. 프레임은 행동 및 사람 수 계수에는 도움이 되지만, 객체 수 계수 성능은 기준 점수에 가까운 수준에 머뭅니다. 이 결과는 객체 수 계수를 개선하려면 인스턴스 연관과 구축 단계에서의 일관된 기하학적 스케일을 우선적으로 개선해야 함을 시사합니다.

개발 파일럿 및 인과적 구축

138개 질문이 포함된 10개 영상 파일럿을 사용해 어댑터를 개발했습니다. 따라서 이 결과는 별도의 홀드아웃 평가가 아닙니다. 첫 버전은 메모리를 사용하지 않은 대조군의 25.4%와 비교해 36.2%를 기록했지만, 미래의 근거를 포함했습니다. 57개 질문에서는 질문 시점 이후에 처음 관측된 후보를 검색했고, 표시된 이동 경로 웨이포인트의 43.6%가 미래 시점의 것이었습니다. 이 성능 향상은 주장에 포함하지 않습니다.

위에서 설명한 타임스탬프 필터링은 프롬프트에서 명시적인 미래 근거를 제거합니다. 파일럿에서 필터링된 메모리는 GPT-5.4 사용 시 38.4%를 기록해, 기준 점수 31.9%보다 6.5점 높았습니다. 신뢰 구간은 보고된 구간입니다. 방향 레이블, 관계 에피소드, 장소 맥락은 측정 가능한 추가 향상을 제공하지 않았습니다.

그러나 메모리 구축에는 여전히 전체 녹화 영상이 사용됩니다. 어휘는 영상 전반의 프레임을 활용하며, 포즈 추정과 통합, 분할도 모두 오프라인으로 수행됩니다. 이러한 결과를 필터링해도 과거 메모리 상태가 이후 프레임과 독립적임을 입증할 수는 없습니다. 이를 입증하려면 각 질문 시점까지 이용 가능한 영상만 사용해 모든 단계를 구축하고, 영상을 추가해도 이전 상태가 바뀌지 않는지 확인해야 합니다. 따라서 이 실행은 검증된 스트리밍 평가가 아니라 타임스탬프 필터링을 적용한 평가로 설명합니다.

동일한 입력으로 GPT-5.4를 반복 실행하면 파일럿 질문의 약 4분의 1에서 선택지가 달라집니다. 따라서 주요 주장은 파일럿 추정치가 아니라 수천 개 질문에 대한 짝지은 비교 결과에 근거합니다.