我们提出AFUN，一个从视觉数据学习物体功能统一表征的功能基础模型。我们的模型利用冻结的视觉语言模型（VLM）结合可学习的MetaQuery tokens来提取任务相关特征，进而预测功能分割掩码和未来运动轨迹。我们提出三阶段训练方案，逐步将MetaQuery接口与分割基础模型对齐，学习可靠的任务条件化功能分割，最后微调运动预测。模型在一个覆盖多个机器人交互领域的大规模功能数据集上训练。实验结果表明，AFUN能够泛化到多种操作任务，在分割精度和运动预测质量上均优于之前的功能检测方法。
网络架构
MetaQuery方法作为接口连接冻结的VLM与下游模型。一小部分可学习的特殊token被附加到VLM的输入提示中，并通过transformer处理。VLM最后一层的隐藏状态作为下游模型的紧凑条件特征。该方法能够提取详细的视觉条件，并将推理能力迁移到图像编辑等多模态生成任务。
训练方案
直接训练完整模型不稳定：随机初始化的MetaQuery token为分割模型提供较差的调节信号，而噪声掩码预测又会使运动监督变得模糊。因此我们分三阶段训练模型：
- 阶段I： 将MetaQuery接口与分割基础模型对齐
- 阶段II： 学习可靠的任务条件化功能分割
- 阶段III： 当模型在分割预测上已鲁棒时，微调运动预测
预训练先验（包括Qwen-VL、分割模型和运动预测模型）在整个训练过程中保持冻结。
跨数据集预处理
我们的数据预处理管道围绕特定数据源的适配器构建，这些适配器共享相同的处理逻辑和结构。每个适配器写入相同的区间级模式：观察/接触帧、RGB-D数据、任务语言、相机标定和视频跨度。不同之处在于如何从每个原始数据集中恢复这些字段。例如，AgiBotWorld-Beta数据集提供动作区间标注，我们将每个标注动作作为一个区间。我们加载区间内配对的头部RGB/深度帧，并使用已校准的非鱼眼头部相机。
功能数据集展示
我们从AFUN数据集中采样了48个条目，并将每个条目可视化为观察帧，包含功能掩码和拟合的贝塞尔样条曲线3D轨迹。每个样本的语言指令直接显示在图像下方。
转换其他数据集用于分割训练
部件级提示仅用于获取掩码，不用于训练查询，因为直接命名接触部件会泄露答案。因此我们对原始图像和所选掩码叠加图进行第二次查询。这次查询将样本改写为自然的任务级指令，隐含功能而不明确提及突出区域。
常见问题
AFUN如何处理随机初始化的MetaQuery tokens导致的训练不稳定？ 模型采用三阶段训练方案，逐步将MetaQuery tokens与分割模型对齐，然后学习任务条件化功能，最后微调运动预测。
AFUN训练中哪些预训练模型保持冻结？ Qwen-VL视觉语言模型、SAM3分割模型和Sonata运动预测模型在整个训练阶段保持冻结。
跨数据集预处理管道如何确保不同数据集间的一致性？ 各数据源适配器共享相同的处理逻辑，将数据写入统一的区间级模式，包含观察/接触帧、RGB-D数据、任务语言、相机标定和视频跨度信息。
为什么在转换数据集用于分割训练时需要第二次查询？ 第二次查询将样本改写为自然的任务级指令，隐含功能而不明确提及突出区域，防止模型在训练中泄露答案。