DexVerse es un banco de pruebas modular diseñado para la manipulación diestra multi-tarea y multi-embodiment. Unifica diversas categorías de tareas, múltiples combinaciones brazo-mano, variación visual configurable, teleoperación basada en RV, demostraciones multimodales y evaluación representativa de políticas. El banco de pruebas proporciona un campo de pruebas desafiante y extensible para estudiar control diestro con contacto, robustez visomotora y aprendizaje robótico consciente del embodiment.
Diseño Modular del Entorno
DexVerse utiliza un diseño basado en configuración para especificar e instanciar entornos de manipulación. Cada entorno se define mediante un conjunto de componentes estructurados, que incluyen la disposición de la escena, los activos de objetos, el embodiment del robot, las interfaces de observación y acción, las reglas de inicialización, las condiciones de éxito y la configuración de aleatorización. Las tareas dentro de una misma familia comparten plantillas reutilizables para lógica común, como la carga de activos, la inicialización de estados, los eventos de reinicio y la verificación de éxito, mientras que los parámetros específicos de la tarea definen los objetos manipulados, los estados objetivo, los rangos de muestreo y los umbrales de finalización. Este diseño reduce la implementación duplicada entre entornos relacionados y facilita la creación y el mantenimiento de variantes de tareas.
DexVerse se basa en la interfaz de entorno basada en gestores de Isaac Lab, donde las observaciones, acciones, eventos, terminaciones y términos de recompensa opcionales se especifican a través de clases de configuración y son ejecutados por un bucle de simulación compartido. La mayoría de los parámetros del entorno se pueden ajustar mediante sobreescrituras de configuración, lo que permite cambios controlados en los rangos de inicialización, la configuración de la cámara, las opciones de aleatorización o los umbrales de éxito sin modificar el código central del entorno. Para los embodiments robóticos, DexVerse también proporciona una especificación compacta para seleccionar combinaciones brazo-mano, simplificando la instanciación de variantes de embodiment factibles.
Embodiments Robóticos
DexVerse especifica cada embodiment robótico mediante una configuración de robot, que define los modelos de brazo y mano, la pose inicial, la interfaz de acción, los parámetros del controlador y constantes específicas del embodiment. Siempre que un robot implemente la interfaz requerida, se puede instanciar en una tarea sin reescribir la lógica del entorno específico de la tarea. Para combinaciones tarea-embodiment físicamente factibles, los usuarios pueden sobrescribir la elección predeterminada del robot, por ejemplo, reemplazando una configuración de un solo brazo por una configuración bimanual o cambiando a un par brazo-mano diferente.
El banco de pruebas actual admite 3 brazos robóticos (Franka Research 3, UR10e y xArm 7) y 6 manos diestras (Sharpa Wave, WUJI Hand, Shadow Hand, Inspire Hand, Allegro Hand y LEAP Hand), cubriendo diversas cinemáticas, grados de libertad, límites articulares, rangos de actuación y morfologías de mano. Cada mano también tiene una variante flotante, donde la muñeca se controla directamente mediante articulaciones prismáticas y de revolución.
Variación Visual
DexVerse proporciona variación visual configurable como parte de la especificación del entorno. Cada entorno utiliza una apariencia predeterminada fija cuando la aleatorización visual está desactivada. Cuando está activada, las propiedades visuales se muestrean al reiniciar a partir de bibliotecas predefinidas, que incluyen materiales de objetos, materiales de mesa, condiciones de iluminación, fondos de cielo, exposición y configuraciones de temperatura de color. DexVerse también admite cambios en el punto de vista de la cámara, lo que permite que la misma tarea aparezca bajo diferentes condiciones de observación mientras se preservan el objetivo y las condiciones de éxito de la tarea.
Más allá de la variación visual, DexVerse también admite variaciones no visuales, que incluyen poses iniciales de objetos, rangos de muestreo de tareas, perturbaciones propioceptivas y del estado del objeto, y parámetros dinámicos. Las variaciones visuales y no visuales se pueden habilitar de forma independiente o conjunta, haciendo explícitos los cambios de apariencia mientras se preserva la variabilidad estándar del entorno para las tareas de manipulación.
Conjunto de Datos y Evaluación
El pipeline está diseñado para reducir los cambios específicos del embodiment al adaptarse a nuevas plataformas brazo-mano. Agregar nuevos brazos robóticos generalmente requiere actualizar el marco del efector final, las poses iniciales y los parámetros del controlador de bajo nivel, mientras que agregar manos diestras requiere configurar el URDF de la mano con los puntos clave necesarios, enlaces de correspondencia y escalas de reorientación.
Estadísticas del Conjunto de Datos. DexVerse proporciona demostraciones de teleoperación para la mayoría de las suites de tareas. Para cada una de las 56 tareas de un solo objetivo, recopilamos 55 demostraciones: 50 con la Shadow Hand y una con cada una de las otras cinco manos. Para cada una de las 5 tareas de horizonte largo, recopilamos 20 demostraciones. Esto resulta en un total de 3,180 trayectorias de demostración.
Cada demostración se almacena como una secuencia de pares acción-estado registrados durante la teleoperación. Proporcionamos la utilidad de reproducción que restaura los estados del simulador registrados y consulta el entorno localmente para regenerar los términos de observación solicitados. Este diseño es importante porque la simulación física puede divergir entre máquinas debido a diferencias en el cómputo físico, el hardware y el redondeo de coma flotante. La reproducción directa del estado evita la deriva acumulada del rollout y hace que las demostraciones sean más portátiles entre configuraciones locales.
El formato acción-estado también mantiene el conjunto de datos compacto. El mecanismo de reproducción también hace que modificar los ajustes preestablecidos de observación, agregar términos de observación o cambiar entradas basadas en cámara sea más flexible sin requerir una copia separada del conjunto de datos de demostración.
Tareas Compuestas Multi-Objetivo
Un entorno se marca como exitoso cuando se cumplen ambas condiciones al mismo tiempo: - El objeto adicional se eleva al menos un umbral especificado por encima de su altura de reinicio, independientemente de la tarea adicional de la que provenga originalmente. - La articulación de la tarea principal también alcanza su propio umbral de éxito de tarea única un umbral específico de la tarea.
Cuando el objeto principal es la taza, se aplica el mismo procedimiento de levantar y luego verter. Ambas condiciones deben cumplirse simultáneamente para que la tarea cuente como un éxito. El umbral de elevación es un único valor fijo compartido entre las 39 variantes, mientras que el umbral específico de la tarea coincide con el umbral independiente de cada tarea principal.
Ajustes Preestablecidos de Modo de Observación
Si bien el usuario es libre de seleccionar los grupos de observación a utilizar, DexVerse también define algunos ajustes preestablecidos de modo de observación, cada uno de los cuales habilita un conjunto fijo de grupos y deshabilita todos los demás grupos gestionados. Un ajuste preestablecido se aplica al ObservationsCfg de un entorno a través de un campo de configuración. El grupo privilegiado nunca es habilitado por ningún ajuste preestablecido, ya que contiene información difícilmente observable en el mundo real y solo debe ser habilitado intencionalmente por el usuario.
Conclusión
Presentamos DexVerse, un banco de pruebas modular para manipulación diestra multi-tarea y multi-embodiment que unifica diversas categorías de tareas, múltiples combinaciones brazo-mano, variación visual configurable, teleoperación basada en RV, demostraciones multimodales y evaluación representativa de políticas. Nuestros experimentos muestran que las políticas actuales de aprendizaje por imitación y visión-lenguaje-acción están lejos de resolver la manipulación diestra general, particularmente en contacto preciso, coordinación bimanual, uso funcional de herramientas e interacción robusta con objetos complejos. Estos hallazgos establecen a DexVerse como un campo de pruebas desafiante y extensible para estudiar control diestro con contacto, robustez visomotora y aprendizaje robótico consciente del embodiment.
Limitaciones y Trabajo Futuro. La versión actual se centra en construir un banco de pruebas amplio, reproducible y multi-tarea, multi-embodiment. Las extensiones futuras estudiarán la transferencia a robots reales, expandirán las demostraciones a más embodiments y familias de tareas, y proporcionarán una estandarización más amplia para la evaluación entre tareas y embodiments. Estas direcciones fortalecerán aún más a DexVerse como base para desarrollar políticas de manipulación diestra generales, robustas y transferibles.
Preguntas Frecuentes
¿Qué brazos y manos robóticas admite DexVerse? DexVerse admite 3 brazos robóticos (Franka Research 3, UR10e, xArm 7) y 6 manos diestras (Sharpa Wave, WUJI Hand, Shadow Hand, Inspire Hand, Allegro Hand, LEAP Hand), con cada mano también disponible en una variante flotante.
¿Cuántas trayectorias de demostración incluye el banco de pruebas? El conjunto de datos contiene 3,180 trayectorias de demostración en total — 55 por tarea de un solo objetivo (50 con Shadow Hand, una por cada otra mano) y 20 por tarea de horizonte largo.
¿Cómo se almacenan las demostraciones para evitar la deriva de simulación? Cada demostración se almacena como una secuencia de pares acción-estado, y una utilidad de reproducción restaura los estados del simulador registrados para regenerar los términos de observación localmente, evitando la deriva acumulada del rollout entre diferentes máquinas.
¿Qué opciones de aleatorización visual están disponibles? DexVerse admite materiales de objetos configurables, materiales de mesa, condiciones de iluminación, fondos de cielo, exposición, configuraciones de temperatura de color y cambios en el punto de vista de la cámara, todos ajustables de forma independiente o conjunta con variaciones no visuales.