로봇 시연 비디오, 언어 명령, 그리퍼 고유수용성 신호가 주어지면 SPARC는 각 상호작용 구간에 대해 객체 중심 공간 주석을 생성합니다. 각 주석에는 하위 작업 명령, 조작된 객체 이름, 초기 및 목표 객체 위치, 객체 궤적, 그리퍼 단계 경계, 스칼라 신뢰도 점수가 포함됩니다. SPARC는 세 단계로 진행됩니다: 하위 작업 분해, 후보 제안 및 추적, 신뢰도 점수 산출.
방법
SPARC는 세 단계로 작동합니다. 첫째, 언어 명령과 그리퍼 고유수용성 신호 및 비디오 프레임을 정렬하여 시연을 하위 작업으로 분해합니다. 둘째, 후보 객체 검출을 제안하고 관련 시간 구간에 걸쳐 추적합니다. 셋째, 물리적으로 근거한 운동 신호를 사용하여 각 후보 주석의 신뢰도 점수를 계산합니다.
운동 신호를 활용한 신뢰도 점수 산출
신뢰도 점수는 각 후보 주석을 여러 상호작용 인식 기준에 대해 평가하여 계산됩니다. 여기에는 객체 궤적과 그리퍼 움직임 간의 일관성, 잡기 및 놓기 단계의 시간적 정렬, 조작 중 객체와 그리퍼 간의 공간적 중첩이 포함됩니다. 점수는 이러한 신호를 단일 스칼라 값으로 결합하여 인간의 검토 없이 주석의 신뢰성을 나타냅니다.
검출기 신뢰도 대 신뢰도 점수
SPARC는 일반적으로 사용되는 검출기 신뢰도를 물리적으로 근거한 신뢰도 점수로 대체합니다. 조작 작업에서 검출기 신뢰도만으로는 주석 품질의 좋은 지표가 될 수 없는데, 이는 객체 검출의 확실성만 반영할 뿐 검출된 객체가 실제로 조작되는 객체인지는 반영하지 않기 때문입니다. 신뢰도 점수는 잡기 단계 동안 객체가 움직이는지, 그리퍼가 적절히 접촉하는지 등 작업 관련 신호를 포착합니다.
로봇 중첩 필터 및 거짓 억제
로봇 그리퍼와 중첩되는 후보를 배제하는 하드 필터는 조작된 객체가 접촉 중에 그리퍼와 자주 중첩되기 때문에 올바른 주석을 잘못 억제할 수 있습니다. SPARC는 하드 게이트를 중첩 후보를 배제하는 대신 가중치를 낮추는 점진적 이차 패널티로 대체하여 이러한 트레이드오프를 피합니다. 다른 상호작용 인식 점수 구성 요소와 결합하여 잘못 억제된 사례를 회복하고 정확도를 크게 향상시킵니다.
IoU 임계값 강건성
모든 방법은 더 엄격한 매칭 임계값에서 약간의 정확도 손실을 보이지만, 손실은 변형 간에 균일하며 SPARC가 가장 강력한 절제보다 유지하는 마진은 유지됩니다. 이는 개선이 엄격한 임계값에서 빠르게 저하되는 느슨하게 중첩된 상자가 아닌 올바른 객체 선택에서 비롯됨을 나타냅니다.
VQA 데이터셋 생성
VQA 데이터셋을 생성하기 위해 세 가지 작업 유형에 걸쳐 템플릿 질문-답변 쌍이 사용됩니다. 객체 근거 부여에서는 VLM이 객체 이름 또는 시연 명령에서 지정된 객체를 가리킵니다. 빈 위치 가리키기에서는 VLM이 시연의 시작 또는 목표 위치를 가리킵니다. 궤적 예측에서는 VLM이 주어진 작업 명령에 대한 객체 궤적을 예측합니다. 모든 변형에 대해 동일한 템플릿과 프롬프트가 사용되며, 기본 공간 주석만 SPARC 또는 검출 생성 주석으로 대체됩니다.
목표 지점 지도의 경우, 승자 후보 마스크에서 점이 샘플링됩니다. 빈 위치 가리키기의 경우, 추출된 시작 또는 목표 위치가 사용되며 해당 위치에 객체가 없는 첫 번째 또는 마지막 관찰 프레임이 질의됩니다. 그런 다음 해당 빈 위치에서 점이 샘플링됩니다. 이는 명시적 위치 주석 없이 빈 위치 가리키기를 위한 대리 역할을 제공합니다. 궤적 작업의 경우, 객체 궤적에서 균등하게 간격을 둔 다섯 개의 점이 서브샘플링됩니다. 모든 공간 좌표는 0과 1 사이의 범위로 정규화됩니다.
하위 데이터셋 스케일링 실험
SPARC는 전체 벤치마크 제품군과 상호작용 인식 벤치마크(IA-Bench) 모두에서 검출기 신뢰도보다 더 강한 스케일링 신호를 제공합니다. 전체 점수에서 SPARC는 50K 샘플에서 0.554에서 200K에서 0.583으로 개선된 후 500K에서 0.563, 838K에서 0.557로 감소합니다. 이는 순위가 낮은 주석이 더 잡음이 많은 데이터 영역에 들어갈 때까지 스케일링이 유익함을 시사합니다. 그러나 IA-Bench에서 SPARC는 50K의 0.716에서 838K의 0.785로 계속 개선되며, 품질 필터링 기준인 0.789에 근접합니다. 대조적으로, 검출기 신뢰도는 두 설정 모두에서 샘플이 추가됨에 따라 저하되어, 검출기 신뢰도가 점점 더 잡음이 많은 지도를 허용하는 반면 SPARC는 훨씬 더 큰 주석 예산에서 유용한 지도를 보존함을 나타냅니다.
작업별 결과
SPARC에서 생성된 주석으로 훈련된 추론 시각-언어-행동(VLA) 정책은 대부분의 작업에서 기준선을 크게 능가하여, 더 높은 품질의 공간 주석으로 인한 향상된 근거 부여 및 공간 위치 파악 능력을 강조합니다.
결론
SPARC는 검출기 신뢰도 대신 물리적으로 근거한 운동 신호로 후보를 점수화하는 자동 공간 주석 파이프라인입니다. 결과 신뢰도 점수는 인간 검토 없이 품질과 규모 간의 트레이드오프를 제어 가능하게 만듭니다. SPARC는 검출 기반 기준선보다 더 정확한 주석을 생성하고 고정 정밀도 목표에서 더 많은 사용 가능한 데이터를 유지합니다. SPARC 주석으로 훈련된 모델은 객체 근거 부여 및 운동 인식 벤치마크에서 인간 주석 데이터로 훈련된 모델을 능가하며, 이들로 훈련된 추론 정책은 혼잡한 실제 조작에서 훨씬 더 강건합니다.
한계
SPARC는 기반이 되는 기성 모델에 의해 제한됩니다: 검출기 오류는 부분 수준 주석을 제한하고, 시각적으로 유사한 객체에 대해 추적기 ID 전환이 발생하며, 3D 리프팅은 투명한 표면에서 어려움을 겪습니다. 대체로 정적인 카메라를 가정하므로 강한 움직임에서 추적이 저하되며, 정확한 단계 간격에 의존하여 상위 하위 작업 분할 오류가 하위로 전파됩니다. SPARC는 뚜렷한 잡기 단계가 있는 작업에 가장 신뢰할 수 있습니다.
자주 묻는 질문
SPARC의 신뢰도 점수는 검출기 신뢰도와 어떻게 다른가요? 신뢰도 점수는 잡기 단계 중 객체 움직임 및 그리퍼-객체 접촉과 같은 물리적으로 근거한 운동 신호를 사용하는 반면, 검출기 신뢰도는 이미지에서 객체의 존재에 대한 확실성만 반영합니다.
SPARC는 인간 주석 또는 검토가 필요한가요? 아니요, SPARC는 완전히 자동으로 작동합니다. 신뢰도 점수는 인간 검토 없이 품질과 규모 간의 제어 가능한 트레이드오프를 가능하게 합니다.
SPARC는 어떤 유형의 작업에 가장 적합한가요? SPARC는 조작된 객체가 접촉 전후에 그리퍼와 명확히 분리되는 뚜렷한 잡기 단계가 있는 작업에 가장 신뢰할 수 있습니다.
SPARC는 접촉 중 로봇 그리퍼와 중첩되는 객체를 어떻게 처리하나요? 중첩 후보를 배제하는 하드 필터 대신, SPARC는 중첩 후보의 가중치를 낮추면서도 올바른 주석이 선택될 수 있도록 점진적 이차 패널티를 적용합니다.