给定机器人演示视频、语言指令和夹爪本体感觉信号，SPARC为每个交互片段生成以物体为中心的空间标注。每个标注包含子任务指令、操作对象名称、初始与目标位置、物体轨迹、夹爪相位边界以及一个标量可靠性评分。SPARC分三个阶段运行：子任务分解、候选提案与跟踪、可靠性评分。
方法
SPARC分三个阶段运行。首先，通过将语言指令与夹爪本体感觉信号及视频帧对齐，将演示分解为子任务。其次，提出候选物体检测结果并在相关时间片段中进行跟踪。第三，利用基于物理的运动线索为每个候选标注计算可靠性评分。
基于运动线索的可靠性评分
可靠性评分通过针对多个交互感知标准评估每个候选标注来计算。这些标准包括物体轨迹与夹爪运动的一致性、抓取和释放阶段的时间对齐、以及操作过程中物体与夹爪的空间重叠。评分将这些线索组合成一个标量值，指示标注的可信度，无需人工审查。
检测器置信度与可靠性评分
SPARC用基于物理的可靠性评分取代了常用的检测器置信度。仅凭检测器置信度是操作任务中标注质量的糟糕指标，因为它只反映物体检测的确定性，而不反映检测到的物体是否被操作。可靠性评分捕捉了任务相关线索，例如物体在抓取阶段是否移动以及夹爪是否适当接触物体。
机器人与物体重叠过滤与错误抑制
一个排除与机器人夹爪重叠候选的硬滤镜可能会错误地抑制正确标注，因为操作对象在接触时经常与夹爪重叠。SPARC通过用分级二次惩罚代替硬门控来避免这种权衡，该惩罚降低重叠候选的权重而非排除它们。结合其他交互感知评分组件，这恢复了被错误抑制的情况，并将准确率提升到显著更高的水平。
IoU阈值鲁棒性
所有方法在更严格的匹配阈值下都会损失少量准确率，但损失在不同变体中是均匀的，且SPARC相对于最强消融的优势保持不变。这表明改进来自于选择正确的物体，而非那些与真实框仅松散重叠的框，后者在更严格阈值下会迅速退化。
VQA数据集生成
为了生成VQA数据集，对三种任务类型使用模板化问答对。在物体定位中，VLM指向从名称或演示指令中指定的物体。在空缺位置指向中，VLM指向演示的起始或目标位置。在轨迹预测中，VLM根据给定任务指令预测物体轨迹。所有变体使用相同的模板和提示，仅将底层空间标注替换为SPARC或检测生成的标注。
对于目标点监督，从获胜候选掩码中采样一个点。对于空缺指向，使用提取的起始或目标位置，并查询该位置物体缺失的第一或最后一帧。然后从相应空缺位置采样点。这提供了指向空缺位置的代理，无需显式位置标注。对于轨迹任务，从物体轨迹中采样五个等距点。所有空间坐标归一化到0到1范围。
下游数据集规模实验
SPARC在整体基准套件和交互感知基准（IA-Bench）上都提供了比检测器置信度更强的缩放信号。在总分上，SPARC从50K样本的0.554提高到200K样本的0.583，然后在500K样本下降至0.563，在838K样本下降至0.557。这表明缩放有益直到低排名标注进入更嘈杂的数据区域。然而，在IA-Bench上，SPARC随着规模持续改进，从50K样本的0.716提高到838K样本的0.785，接近质量过滤参考值0.789。相比之下，检测器置信度在两种设置下随着样本增加而退化，表明检测器置信度越来越多地引入噪声监督，而SPARC在更大的标注预算内保留了有用的监督。
各任务结果
基于SPARC生成的标注训练的推理视觉-语言-动作（VLA）策略在大多数任务上以较大优势持续优于基线，突显了更高质量空间标注带来的改进定位与空间定位能力。
结论
SPARC是一个自动空间标注管线，用基于物理的运动线索而非检测器置信度对候选进行评分。由此产生的可靠性评分使得质量与规模之间的权衡可控，无需人工审查。SPARC比基于检测的基线生成更准确的标注，并在固定精度目标下保留更多可用数据。基于SPARC标注训练的模型在物体定位和运动感知基准上超过基于人类标注的模型，而基于这些标注训练的策略在杂乱的真实世界操作中更加鲁棒。
局限性
SPARC受限于其依赖的现成模型：检测器错误限制了部件级标注，跟踪器身份切换对于视觉相似的物体发生，3D提升在透明表面上效果不佳。它假设摄像头基本静止，因此在强运动下跟踪退化，并依赖于准确的相位间隔，让上游子任务分割错误向下游传播。SPARC对于具有明确抓取阶段的任务最为可靠。
常见问题
SPARC的可靠性评分与检测器置信度有何不同？ 可靠性评分使用基于物理的运动线索，如抓取阶段物体运动和夹爪-物体接触，而检测器置信度仅反映图像中物体存在的确定性。
SPARC是否需要人工标注或审查？ 不需要，SPARC完全自动化运行。可靠性评分使质量与规模之间的权衡可控，无需任何人工审查。
SPARC最适合哪种类型的任务？ SPARC对于具有明确抓取阶段、操作物体在接触前后与夹爪清晰分离的任务最为可靠。
SPARC如何处理在接触时与机器人夹爪重叠的物体？ SPARC不使用排除重叠候选的硬滤镜，而是应用分级二次惩罚，降低重叠候选的权重，同时仍允许选择正确标注。