Presentamos DenseReward, un modelo denso de recompensa basado en visión-lenguaje para manipulación robótica. El método consta de tres componentes: un pipeline automatizado de generación de datos que produce trayectorias con etiquetas densas de recompensa sensibles a la fase; síntesis de fallos que crea diversas trayectorias fallidas mediante perturbaciones dirigidas; y modelos DenseReward entrenados en la mezcla resultante de trayectorias exitosas y fallidas para estimar el progreso granular de la tarea.
Método
Presentamos DenseReward, un modelo de recompensa basado en visión-lenguaje que predice recompensas densas para la manipulación robótica. Nuestro método consta de tres componentes: un pipeline automatizado de generación de datos que genera trayectorias con etiquetas densas de recompensa sensibles a la fase, síntesis de fallos que crea diversas trayectorias fallidas mediante perturbaciones dirigidas, y modelos DenseReward entrenados en la mezcla resultante de trayectorias exitosas y fallidas para estimar el progreso granular de la tarea.
Síntesis de Fallos
Basándonos en el pipeline automatizado de generación de datos, sintetizamos trayectorias fallidas con recompensas densas.
Entrenamiento de DenseReward
Conjunto de datos. Basado en nuestro pipeline automatizado de generación de datos, construimos un conjunto de datos de recompensa densa que contiene 27k episodios de trayectorias tanto exitosas como fallidas. El conjunto de datos cubre diversas fuentes simuladas y del mundo real, incluyendo: episodios exitosos y fallidos del mundo real de DROID, trayectorias de manipulación simuladas de RoboSuite, y trayectorias de manipulación simuladas de Isaac Sim. El conjunto de datos abarca diversos entornos de manipulación que incluyen más de 60 objetos de manipulación distintos. Dividimos el conjunto de datos en conjuntos de entrenamiento y prueba para el entrenamiento y evaluación del modelo.
Conclusión
Presentamos DenseReward, un modelo denso de recompensa basado en visión-lenguaje para manipulación robótica. Desarrollamos un pipeline de simulación automatizado que genera trayectorias con recompensas densas sensibles a la fase, y síntesis de fallos mediante perturbaciones dirigidas. DenseReward captura el progreso granular de la tarea, la finalización parcial y los patrones comunes de fallo. DenseReward supera a los VLM de propósito general y a los modelos de recompensa robóticos existentes en la predicción densa de recompensas, y proporciona una guía de recompensa útil para el aprendizaje por refuerzo descendente. Esperamos que nuestro conjunto de datos, modelos y suite de evaluación apoyen la investigación futura sobre el aprendizaje escalable de recompensas para la manipulación robótica.
Limitaciones y trabajo futuro. Planeamos extender este trabajo a manipulación más compleja, como el uso de herramientas y tareas de largo horizonte. Las direcciones futuras también incluyen incorporar retroalimentación de preferencias humanas en el proceso de aprendizaje de recompensas, para hacer que los modelos de recompensa densa sean más generales, escalables y alineados con las expectativas humanas para el aprendizaje robótico en el mundo real.
Preguntas Frecuentes
¿Cómo genera DenseReward datos de entrenamiento para recompensas densas? Utiliza un pipeline de simulación automatizado que produce trayectorias con etiquetas densas de recompensa sensibles a la fase, cubriendo tanto casos exitosos como fallidos en más de 60 objetos de manipulación distintos.
¿Qué tipos de trayectorias fallidas utiliza DenseReward? Las trayectorias fallidas se sintetizan mediante perturbaciones dirigidas en la simulación, creando diversos patrones de fallo que el modelo de recompensa aprende a reconocer.
¿Qué fuentes proporcionan los 27,000 episodios de entrenamiento? El conjunto de datos incluye episodios del mundo real de DROID, más trayectorias simuladas de RoboSuite e Isaac Sim, cubriendo casos exitosos y fallidos.
¿Qué tan bien se desempeña DenseReward en comparación con otros métodos? DenseReward supera a los modelos de visión-lenguaje de propósito general y a los modelos de recompensa robóticos existentes en la predicción densa de recompensas, y proporciona una guía de recompensa útil para el aprendizaje por refuerzo descendente.