Z-Sight 将视觉—语言—动作与潜在世界建模整合用于机器人技术

Z-Sight 将视觉—语言—动作与潜在世界建模整合用于机器人技术

Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong +10 位

1 分钟阅读•2026年11月19日

结论

局限性

目前,前瞻流仅根据观测预测未来。若以候选动作作为条件,Z-sight 便能比较不同动作的结果,并有望在其自身表征空间中实现测试时规划。

硬件与 Sonic 遥操作—部署流程

硬件与遥操作—部署流程

我们在 Unitree G1 人形机器人上部署真实世界策略。该机器人配备两只 7-DoF Dex3-1 灵巧手,以及一台头戴式第一人称视角摄像头。默认使用的头戴式 Intel RealSense D435i 视野较窄,适合桌面任务(Dog 和 Puffs);涉及移动的任务(Chair、Book、Trash 和 Fruit)则需要更宽的周边视野,因此使用头戴式 ZED 2i 摄像头。每项任务在数据采集和评估期间均使用同一台摄像头。

人形机器人与第一人称视角摄像头任务设置

常见问题

目前,前瞻流根据什么预测? 它仅根据观测预测未来。

候选动作会如何改变前瞻流? 以候选动作为条件,可以让 Z-sight 比较不同动作的结果,并在其自身表征空间中实现测试时规划。

真实世界策略部署使用哪种人形机器人? 这些策略部署在 Unitree G1 人形机器人上。

任务中使用哪些摄像头? 桌面任务使用头戴式 Intel RealSense D435i,移动任务使用头戴式 ZED 2i。每项任务在数据采集和评估时使用同一台摄像头。