Dado un video de demostración robótica, una instrucción en lenguaje y la señal propioceptiva del gripper, SPARC produce anotaciones espaciales centradas en objetos para cada segmento de interacción. Cada anotación contiene una instrucción de subtarea, el nombre del objeto manipulado, las ubicaciones inicial y objetivo del objeto, una trayectoria del objeto, los límites de fase del gripper y una puntuación de confiabilidad escalar. SPARC procede en tres etapas: descomposición en subtareas, propuesta y seguimiento de candidatos, y puntuación de confiabilidad.
Método
SPARC opera en tres etapas. Primero, descompone la demostración en subtareas alineando la instrucción en lenguaje con las señales propioceptivas del gripper y los fotogramas del video. Segundo, propone detecciones de objetos candidatos y las rastrea a lo largo de los segmentos temporales relevantes. Tercero, calcula una puntuación de confiabilidad para cada anotación candidata utilizando señales de movimiento físicamente fundamentadas.
Puntuación de Confiabilidad con Señales de Movimiento
La puntuación de confiabilidad se calcula evaluando cada anotación candidata según varios criterios que tienen en cuenta la interacción. Estos incluyen la consistencia entre la trayectoria del objeto y el movimiento del gripper, la alineación temporal de las fases de agarre y liberación, y la superposición espacial entre el objeto y el gripper durante la manipulación. La puntuación combina estas señales en un único valor escalar que indica la confiabilidad de la anotación sin requerir revisión humana.
Confianza del Detector vs. Puntuación de Confiabilidad
SPARC reemplaza la confianza del detector, comúnmente utilizada, con una puntuación de confiabilidad físicamente fundamentada. La confianza del detector por sí sola es un mal indicador de la calidad de la anotación en tareas de manipulación, ya que solo refleja la certeza de la detección del objeto, no si el objeto detectado es el que se está manipulando. La puntuación de confiabilidad captura señales relevantes para la tarea, como si el objeto se mueve durante la fase de agarre y si el gripper lo contacta adecuadamente.
Filtro de Superposición con el Robot y Supresión de Falsos
Un filtro estricto que excluye candidatos que se superponen con el gripper del robot puede suprimir incorrectamente la anotación correcta, ya que el objeto manipulado a menudo se superpone con el gripper durante el contacto. SPARC evita este compromiso reemplazando el filtro estricto con una penalización cuadrática gradual que reduce la ponderación de los candidatos superpuestos en lugar de excluirlos. Combinado con sus otros componentes de puntuación que consideran la interacción, esto recupera los casos suprimidos falsamente y eleva la precisión a un nivel significativamente más alto.
Robustez del Umbral IoU
Todos los métodos pierden una pequeña cantidad de precisión con umbrales de coincidencia más estrictos, pero la pérdida es uniforme entre las variantes y se mantiene el margen de SPARC sobre la ablación más fuerte. Esto indica que las mejoras provienen de seleccionar el objeto correcto, no de cajas que solo se superponen vagamente con la verdad de terreno, lo que se degradaría rápidamente bajo umbrales más estrictos.
Generación del Conjunto de Datos VQA
Para generar el conjunto de datos VQA, se utilizan pares de preguntas y respuestas basados en plantillas para tres tipos de tareas. En el enraizamiento de objetos, el VLM señala un objeto especificado por su nombre o por la instrucción de la demostración. En la señalización de ubicaciones vacantes, el VLM señala la ubicación inicial u objetivo de la demostración. En la predicción de trayectorias, el VLM predice la trayectoria del objeto para una instrucción de tarea dada. Se utilizan las mismas plantillas y avisos para todas las variantes, reemplazando solo las anotaciones espaciales subyacentes con anotaciones generadas por SPARC o por detección.
Para la supervisión del punto objetivo, se muestrea un punto de la máscara del candidato ganador. Para la señalización de ubicaciones vacantes, se utiliza la ubicación inicial u objetivo extraída y se consulta el primer o último fotograma de observación en el que el objeto está ausente en esa ubicación. Luego se muestrean puntos en la ubicación vacante correspondiente. Esto proporciona un proxy para señalar una ubicación vacante sin requerir anotaciones de ubicación explícitas. Para las tareas de trayectoria, se submuestran cinco puntos igualmente espaciados de la trayectoria del objeto. Todas las coordenadas espaciales se normalizan al rango entre 0 y 1.
Experimentos de Escalado del Conjunto de Datos Posteriores
SPARC proporciona una señal de escalado más fuerte que la confianza del detector tanto en el conjunto general de benchmarks como en el benchmark consciente de la interacción (IA-Bench). En la puntuación agregada, SPARC mejora de 0.554 con 50K muestras a 0.583 con 200K, luego disminuye a 0.563 con 500K y 0.557 con 838K. Esto sugiere que el escalado es beneficioso hasta que las anotaciones de rango inferior entran en un régimen de datos más ruidoso. Sin embargo, en IA-Bench, SPARC continúa mejorando con la escala, aumentando de 0.716 con 50K a 0.785 con 838K, cerca de la referencia filtrada por calidad de 0.789. En contraste, la confianza del detector se degrada a medida que se agregan más muestras en ambos escenarios, lo que indica que la confianza del detector admite cada vez más supervisión ruidosa, mientras que SPARC preserva supervisión útil durante un presupuesto de anotaciones mucho mayor.
Resultados por Tarea
Las políticas de razonamiento visión-lenguaje-acción (VLA) entrenadas con anotaciones generadas por SPARC superan consistentemente a las líneas base por un amplio margen en la mayoría de las tareas, lo que destaca las mejores capacidades de enraizamiento y localización espacial resultantes de anotaciones espaciales de mayor calidad.
Conclusión
SPARC es un pipeline de anotación espacial automática que puntúa candidatos con señales de movimiento físicamente fundamentadas en lugar de la confianza del detector. La puntuación de confiabilidad resultante hace que el compromiso entre calidad y escala sea controlable sin necesidad de revisión humana. SPARC produce anotaciones más precisas que las líneas base basadas en detección y retiene más datos utilizables con un objetivo de precisión fijo. Los modelos entrenados con anotaciones de SPARC superan a aquellos entrenados con datos anotados por humanos en benchmarks de enraizamiento de objetos y conscientes del movimiento, y las políticas de razonamiento entrenadas con ellas son sustancialmente más robustas en la manipulación real con objetos desordenados.
Limitaciones
SPARC está limitado por los modelos prefabricados en los que se basa: los errores del detector limitan las anotaciones a nivel de partes, los cambios de identidad del rastreador ocurren para objetos visualmente similares, y la elevación 3D tiene dificultades con superficies transparentes. Asume una cámara mayormente estática, por lo que el seguimiento se degrada bajo movimientos fuertes, y depende de intervalos de fase precisos, lo que permite que los errores de segmentación de subtareas aguas arriba se propaguen aguas abajo. SPARC es más confiable para tareas con fases de agarre distintas.
Preguntas Frecuentes
¿Qué hace diferente a la puntuación de confiabilidad de SPARC de la confianza del detector? La puntuación de confiabilidad utiliza señales de movimiento físicamente fundamentadas, como el movimiento del objeto durante las fases de agarre y el contacto gripper-objeto, mientras que la confianza del detector solo refleja la certeza sobre la presencia del objeto en la imagen.
¿SPARC requiere anotación o revisión humana? No, SPARC opera completamente de forma automática. La puntuación de confiabilidad permite compromisos controlables entre calidad y escala sin necesidad de revisión humana.
¿Para qué tipos de tareas es más adecuado SPARC? SPARC es más confiable para tareas con fases de agarre distintas, donde el objeto manipulado se separa claramente del gripper antes y después del contacto.
¿Cómo maneja SPARC los objetos que se superponen con el gripper del robot durante el contacto? En lugar de usar un filtro estricto que excluye candidatos superpuestos, SPARC aplica una penalización cuadrática gradual que reduce la ponderación de los candidatos superpuestos, permitiendo que las anotaciones correctas aún sean seleccionadas.