S2A2框架由环境设置、S2A2模型和声觉感知操作任务组成。S2A2模型包含从观测中提取各模态特征的流水线，以及一个多模态策略，将特征整合后输出下一个动作。该框架针对仅凭视觉无法唯一确定操作目标或位置的声觉感知操作任务，并利用声学空间和声学信号信息与视觉共同决定动作。
问题形式化
S2A2框架针对仅凭视觉无法唯一确定操作目标或位置的声觉感知操作任务，并利用声学空间和声学信号信息与视觉共同决定动作。具体损失函数取决于策略网络，详见“策略架构与训练”部分。
处理流水线
S2A2模型包含三条流水线，分别处理声学空间信息、声学信号信息和视觉信息。每条流水线包括预处理和适用于其输入模态的编码器。除RGB图像流水线直接使用基础策略的视觉编码器外，声学空间图流水线和声谱图流水线如下所述。
所有麦克风阵列均放置在与工作台相同的平面上。声学空间图流水线通过阵列记录的多通道声学信息估计声源方向似然，并将其投影到对应工作台的二维地图上。具体而言，对每个阵列的多通道信号应用多信号分类（MUSIC）方法。输入音频以16 kHz采样率采集，并通过短时傅里叶变换（STFT）转换到频域，FFT长度为512，重叠率为50%。
多模态策略
如处理流水线部分所述，每条流水线输出一个特征图。这些特征图输入策略网络的方式因策略架构而异。
真实机器人实验
选择两个任务进行评估：L&I任务（需同时具备定位和识别能力）和探索任务（需主动探索）。成功率结果表明，对于仅凭视觉难以解决的任务，集成声学信息的S2A2模型在实际环境中同样有效。
结论
本文引入了声觉感知操作任务，即仅凭视觉无法唯一确定操作目标或位置的任务，并提出了S2A2作为利用声学信息的模仿学习框架。仿真实验表明：使用与任务所需声学能力匹配的表示至关重要；不必要的声学模态会降低性能；利用声学信息的效率取决于策略架构。真实机器人实验进一步证实了S2A2的有效性，其性能优于仅依赖视觉的基线方法。
局限性
最终相机就绪版本将包含致谢，包括感谢提供有用意见的审稿人、为思路做出贡献的同事，以及提供资金支持的资助机构和公司赞助商。
仿真与真实实验的差异
在真实机器人实验中，声学空间图和声谱图使用与仿真相同的流水线。但为适应实际录音中的麦克风布局、机器人配置和噪声特性，引入了以下差异。
潜在状态提取
作为中间层表示：对于ACT，使用编码观测序列的Transformer编码器的输出；对于扩散策略，使用U-Net编码器和解码器瓶颈附近的特征；对于VQ-BeT，使用GPT风格策略网络Transformer模块中间层的输出；对于基础模型，使用基础模型侧整合视觉和语言特征的最终隐藏状态。由于扩散策略在去噪过程中多次应用同一U-Net，使用该过程中间点获取的特征作为中间层表示。
每次策略推理时记录特征。最终层和中间层表示均沿序列轴平均，每个推理步视为一个潜在向量。t-SNE图中的每个点对应一次推理生成的整个动作序列的特征。t-SNE输出维度设为2，使用PCA初始化，学习率自动设置，所有随机种子固定。
常见问题
S2A2与标准机器人操作模仿学习方法有何不同？ S2A2在视觉之外集成了声学空间和声学信号信息，使得在仅凭视觉无法唯一确定目标或位置的任务中也能进行操作。
S2A2框架采用了哪些声学处理方法？ 该框架对麦克风阵列记录的多通道音频信号应用MUSIC方法估计声源方向似然，并将该信息投影到对应工作台的二维地图上。
添加声学信息是否总能提升机器人操作性能？ 不一定，仿真实验表明不必要的声学模态会降低性能，且利用声学信息的效率取决于具体策略架构。
S2A2框架是否在真实机器人上进行了测试？ 同时进行了仿真和真实机器人实验，真实机器人结果证实了S2A2在声学挑战任务中优于仅依赖视觉的基线方法。