结论
局限性
目前,前瞻流仅根据观测预测未来。若以候选动作作为条件,Z-sight 便能比较不同动作的结果,并有望在其自身表征空间中实现测试时规划。
硬件与 Sonic 遥操作—部署流程

我们在 Unitree G1 人形机器人上部署真实世界策略。该机器人配备两只 7-DoF Dex3-1 灵巧手,以及一台头戴式第一人称视角摄像头。默认使用的头戴式 Intel RealSense D435i 视野较窄,适合桌面任务(Dog 和 Puffs);涉及移动的任务(Chair、Book、Trash 和 Fruit)则需要更宽的周边视野,因此使用头戴式 ZED 2i 摄像头。每项任务在数据采集和评估期间均使用同一台摄像头。

常见问题
目前,前瞻流根据什么预测? 它仅根据观测预测未来。
候选动作会如何改变前瞻流? 以候选动作为条件,可以让 Z-sight 比较不同动作的结果,并在其自身表征空间中实现测试时规划。
真实世界策略部署使用哪种人形机器人? 这些策略部署在 Unitree G1 人形机器人上。
任务中使用哪些摄像头? 桌面任务使用头戴式 Intel RealSense D435i,移动任务使用头戴式 ZED 2i。每项任务在数据采集和评估时使用同一台摄像头。
