我们提出COMPACT-VA，一种面向规划的工作记忆框架，用于单体式自动驾驶策略。通过条件VQ-VAE将压缩与轨迹预测耦合，解决了统一VA/VLA策略要么缺乏显式记忆机制、要么依赖规则压缩且无法保证保留决策相关历史信息的根本局限。通过在记忆关键的停车控制场景上的系统评估，我们证明了面向规划的压缩在保持实时令牌预算的同时，实现了决策正确性的显著提升。
统一视觉-行动模型主干
我们的方法基于Alpamayo的统一视觉-行动（VA）策略变体，由三个核心组件构成：处理多摄像头观测为视觉令牌的视觉编码器、执行时序推理（不含文本指令）的Transformer主干、以及生成未来车辆运动的轨迹解码器。
虽然这种统一架构消除了显式的中间模块，但序列长度随上下文长度线性增长。对于需要扩展时间上下文的复杂驾驶场景，令牌数量大幅增加，容易超过典型VLM上下文窗口。若无有效压缩，二次方Transformer注意力成本 O(T²d) 在部署时将变得难以处理。
依赖记忆的驾驶场景与评估框架
我们聚焦于扩展历史上下文对决定正确行为尤为关键的场景。先前研究指出，关键驾驶决策依赖于5-10秒时间窗口内的行为线索，这相对于通常仅处理1-2秒的标准驾驶策略构成了扩展上下文，且不同于需要整个路线长期空间记忆的导航任务。我们识别出扩展上下文决定行为正确性的高信号动态场景，并针对这些决策关键结果设计了超出轨迹位移的指标。
停车控制交叉口作为记忆测试床
我们确定了三类扩展历史上下文起重要作用的场景：（1）需要根据到达顺序协商通行权的四向停车；（2）需要评估动态横向交通的停车/让行标志；（3）需要可接受间隙决策的无保护转弯。这些场景的共同特征是正确行为取决于离散决策正确性（即车辆是否在需要时停车、在合适时通行），而非轨迹平滑度。
四向停车交叉口。 多辆车到达所有方向均有标志的交叉口。通行权遵循到达顺序，要求追踪几秒钟前哪些车辆先到达。自车需确定其在该时间队列中的位置。模型必须保持5-10秒前的到达时间信息，以正确推断让行顺序，并在获得通行权时及时行进。
带动态遮挡的停车/让行。 当自车接近交叉口时，先前可见的参与者可能被遮挡或离开视野。模型必须保持几秒前观测到的状态，而非仅依赖当前可见的物体，以避免错误地将遮挡的交叉口评估为空旷。
无保护转弯。 自车在没有保护信号的情况下穿越对向交通。几秒前观测到的对向车辆可能开始减速让行，或保持速度，要求自车停车等待安全间隙。若不跟踪对向车辆几秒内的轨迹，模型可能冒险驶入对向交通或不必要地等待。
这三类场景涵盖了驾驶中的核心决策挑战。根据先前分析，这里测试的基本技能（间隙接受错误、通行权协商和停车行为）大约占交叉口碰撞的40%。
总体性能
我们将Go成功率作为主要指标，因为它直接测试模型是否保持有效记忆以确定何时通行，需要长时记忆来评估横向交通模式和通行权。相比之下，Stop成功率虽然重要，但通常可以仅通过观察即时减速趋势来实现，无需扩展记忆。
标准Alpamayo已取得有竞争力的性能（63.8% Go SR），证明了其架构的有效性。长历史的稀疏采样（62.0%）表现不佳，揭示过度稀疏采样丢弃了关键中间帧，实际上损害了性能。令人惊讶的是，全历史的密集观测（61.9%）尽管访问了全部40帧却表现最差，表明不加区分的令牌过多会混淆模型，且6400个令牌上的二次注意力成本阻碍了时序推理。无规划对齐的学习分层压缩（65.6%）优于Alpamayo，验证了结构化压缩保留了决策相关信息。
结论
本工作提出了COMPACT-VA，一种面向规划的工作记忆框架，用于单体式自动驾驶策略。通过条件VQ-VAE将压缩与轨迹预测耦合，解决了统一VA/VLA策略要么缺乏显式记忆机制、要么依赖规则压缩且无法保证保留决策相关历史信息的根本局限。通过在记忆关键的停车控制场景上的系统评估，我们证明了面向规划的压缩在保持实时令牌预算的同时，实现了决策正确性的显著提升。我们的工作记忆方法采用有限上下文窗口，与驾驶实际相符，因为关键决策通常依赖于5-10秒内的行为线索。我们相信，本工作推动了VA/VLA策略有效记忆的发展，表明任务感知的工作记忆是多样化场景推理的关键。
未来工作： 虽然在一般驾驶场景上的提升有限，但未来工作可以探索更高复杂度的场景（如严重遮挡或多个竞争者），初步观察表明这些场景可能有更大提升；还可以研究循环记忆机制和替代高效架构（如状态空间模型），以将面向规划的压缩扩展到更广泛的具身AI领域。
常见问题
COMPACT-VA解决了什么问题？ COMPACT-VA解决了统一自动驾驶策略要么缺乏显式记忆、要么使用规则压缩丢弃扩展时间上下文中决策相关历史信息的问题。
面向规划的压缩如何工作？ 它使用条件VQ-VAE将令牌压缩与轨迹预测耦合，确保压缩令牌保留对未来驾驶决策最相关的信息，而不仅仅是最小化重建误差。
哪些驾驶场景最受益于此方法？ 停车控制交叉口——包括四向停车、带遮挡的停车/让行和无保护转弯——表现出显著提升，因为正确行为依赖于回忆5-10秒前的事件。
COMPACT-VA与密集观测基线相比如何？ COMPACT-VA优于稀疏采样和密集全历史基线，在保持适合实时部署的有限令牌预算的同时，实现了更高的Go成功率（主要决策正确性指标）。