Z-Sight unifica visión-lenguaje-acción y modelado latente del mundo para la robótica

Z-Sight unifica visión-lenguaje-acción y modelado latente del mundo para la robótica

Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong +10 más

2 min de lectura•19 nov 2026

Conclusión

Limitaciones

Actualmente, el flujo de anticipación predice el futuro únicamente a partir de la observación. Condicionarlo a acciones candidatas permitiría a Z-sight comparar los resultados de distintas acciones y abriría la puerta a la planificación en tiempo de prueba dentro de su propio espacio de representación.

Hardware y canalización de teleoperación y despliegue de Sonic

Hardware y canalización de teleoperación y despliegue

Desplegamos políticas en el mundo real en un humanoide Unitree G1 equipado con dos manos diestras Dex3-1 de 7-DoF y una única cámara egocéntrica en la cabeza. La Intel RealSense D435i montada en la cabeza, que se utiliza de forma predeterminada, ofrece un campo de visión estrecho, adecuado para tareas de mesa (Dog y Puffs), mientras que las tareas que implican locomoción (Chair, Book, Trash y Fruit) requieren una visión periférica más amplia y utilizan una cámara ZED 2i montada en la cabeza. Cada tarea utiliza la misma cámara durante la recopilación de datos y la evaluación.

Configuración del robot humanoide y la cámara egocéntrica para las tareas

Preguntas frecuentes

¿A partir de qué predice actualmente el flujo de anticipación? Predice el futuro únicamente a partir de la observación.

¿Cómo podrían cambiar las acciones candidatas el flujo de anticipación? Condicionarlo a acciones candidatas podría permitir a Z-sight comparar sus resultados y habilitar la planificación en tiempo de prueba dentro de su propio espacio de representación.

¿Qué humanoide se utiliza para desplegar políticas en el mundo real? Las políticas se despliegan en un humanoide Unitree G1.

¿Qué cámaras se utilizan para las tareas? Las tareas de mesa utilizan una Intel RealSense D435i montada en la cabeza, mientras que las tareas de locomoción utilizan una ZED 2i montada en la cabeza. Cada tarea utiliza la misma cámara para la recopilación de datos y la evaluación.