通信是信息物理智能体的基础。单个智能体通常只能获取局部观测,或具备互补能力,因此必须交换信息,才能完成各种信息物理任务。传输原始传感器观测会带来大量通信开销,而自然语言通信则会增加计算开销:发送端需要生成文本,接收端需要解析文本。这些限制使传统通信方式难以满足实时多智能体系统的需求。
问题定义
沿用先前研究中的常见设定,我们考虑这样的信息物理智能体:它们在本地对观测进行编码,并通过通信链路交换潜在表示。对于一项观测,本地编码器会生成一个潜在表示:
所提供的文本中未包含潜在表示的编码公式。
每个潜在令牌的维度固定,潜在表示则具有一定的令牌长度。编码器可以针对不同模态,例如图像、音频或文本输入。在每个智能体内部,可以同时运行多个下游任务,并生成共用同一通信链路的潜在消息。
语义变化评估
物理观测通常连续变化,因此相邻观测之间存在大量冗余。本阶段用于衡量这种语义冗余,并确定需要传输的非冗余信息。逐个令牌直接比较两条潜在消息并不可靠,因为物体或视点的运动可能导致对应观测彼此错位。因此,SCALE 会先在当前潜在消息与接收端已确认的潜在状态之间建立令牌级对应关系,再量化语义变化。
对于当前的每个令牌,SCALE 首先在接收端已确认的潜在状态中找出与之最相似的令牌:
所提供的文本中未包含匹配公式。
随后使用对应的最大余弦相似度,量化当前令牌的语义变化:
所提供的文本中未包含语义变化公式。
相似度高的令牌变化分数较低,相似度低的令牌变化分数较高。相似度阈值用于判定能否复用接收端一侧的匹配令牌;只有达到该阈值的匹配令牌才可复用。匹配以接收端已确认的状态为依据,确保复用的信息已确认能够在接收端获取。
效用–成本分析
语义变化分数反映了各潜在令牌所携带的新信息量。本阶段进一步分析不同传输规模下语义增益与通信成本之间的权衡,其中传输规模指一条消息发送的潜在令牌数量。
系统按语义变化分数从高到低对令牌排序,优先处理变化分数较大的令牌。随后定义累积语义增益和通信成本:
所提供的文本中未包含累积语义增益与通信成本的定义公式。
基准测试表现
使用针对任务的性能指标评估 CooperScene 上的两项任务。对于 3D 物体检测,报告的指标为平均精度(AP)和消息按时送达率。计算 AP 时,使用 0.5 的交并比阈值,将预测框与真实框进行匹配。
对于轨迹预测,报告的指标为任务成功率和消息按时送达率。任务成功率指在所有预测目标中,至少有一条预测轨迹与真实位置相距不超过 2 m 的目标所占比例;每个目标有六条预测轨迹。

局限性
SCALE 提高了带宽效率,并支持信息物理系统智能体进行实时调度,但仍有两项局限。
首先,其通信节省效果取决于潜在表示中的时空冗余。物理世界中的观测可能发生突变,从而减少可复用信息,并增加维持任务性能所需的通信量。
其次,调度算法依据当前链路速率评估能否满足截止期限。对于发生在短于最小调度间隔的时间尺度上的意外带宽下降,算法无法应对;在调度器作出调整之前,这可能影响消息的及时性。
常见问题
SCALE 如何降低通信开销? 它根据语义变化为潜在令牌排序,并在满足相似度阈值时复用接收端已确认状态中的匹配信息。
为什么 SCALE 要将令牌与接收端已确认的状态进行匹配? 已确认状态表明接收端能够获取哪些信息,因此只有已确认的信息才能复用。
CooperScene 物体检测任务使用了哪些指标? 评估报告平均精度和消息按时送达率。计算平均精度时,使用 0.5 的 IoU 阈值,将预测框与真实标注进行匹配。
哪些因素可能影响 SCALE 消息的及时性? 如果带宽下降的速度快于最小调度间隔,调度器作出调整之前,消息的及时性可能受到影响。
