Presentamos el Modelo de Recompensa de Progreso Relativo Aumentado por Distorsión Temporal (WARP-RM), un modelo basado en visión que estima la velocidad de progreso densa por fotograma de una tarea directamente a partir de observaciones visuales. Para entrenar WARP-RM sin anotaciones humanas, proponemos el algoritmo WARP, un método completamente autosupervisado que entrena al modelo para predecir el delta de tiempo normalizado de cada fotograma con respecto a un fotograma inicial, utilizando un conjunto de datos de demostraciones exitosas teleoperadas por humanos. La distorsión de la velocidad de reproducción del video—y su etiqueta de progreso correspondiente—proporciona una señal autosupervisada fuerte: submuestrear fotogramas en intervalos más amplios simula una ejecución más rápida, mientras que muestrear en intervalos más estrechos simula una ejecución más lenta. Al variar esta aumentación de distorsión temporal de manera no uniforme, una sola demostración proporciona supervisión densa en un rango continuo de velocidades de progreso.
Resumen y Notación
El Modelo de Recompensa de Progreso Relativo Aumentado por Distorsión Temporal (WARP-RM) es un modelo basado en visión que estima la velocidad de progreso densa por fotograma de una tarea directamente a partir de observaciones visuales. Para entrenar WARP-RM sin anotaciones humanas, el algoritmo WARP utiliza un método completamente autosupervisado que entrena al modelo para predecir el delta de tiempo normalizado de cada fotograma con respecto a un fotograma inicial, utilizando un conjunto de datos de demostraciones exitosas teleoperadas por humanos.
Entrenamiento del Modelo de Progreso
Los objetivos de progreso acumulativo relativos se calculan a partir de los índices muestreados. Las pseudoetiquetas de progreso acumulativo por fotograma se calculan como el desplazamiento con signo desde el inicio de la ventana normalizado por una constante T. Esta normalización crea objetivos de progreso sintéticos en un rango de -T a T, permitiendo al modelo aprender el ritmo relativo de la ejecución de la tarea.
Limitaciones y Trabajo Futuro
Esta investigación se realizó en el AUTOLAB de UC Berkeley en afiliación con el Laboratorio de Investigación de IA de Berkeley (BAIR). XDOF proporcionó los datos de demostraciones teleoperadas, el cómputo de entrenamiento y la infraestructura de hardware de evaluación utilizados para este proyecto. En sus roles académicos en UC Berkeley, Justin Yu, Andrew Goldberg, Kavish Kondap, Karim El-Refai, Ethan Ransing y Ken Goldberg reciben apoyo parcial de donaciones del Toyota Research Institute, Autodesk, Meta, Google, Siemens y Bosch, y de subvenciones de equipos de NVIDIA, PhotoNeo, el Centro NSF AI4OPT e Intuitive Surgical. Justin Yu recibe apoyo del Programa de Becas de Investigación de Posgrado de la National Science Foundation bajo la Beca No. DGE 2146752. Las opiniones, hallazgos y conclusiones o recomendaciones expresadas en este material son las de los autores y no reflejan necesariamente las opiniones de la National Science Foundation.
Preguntas Frecuentes
¿Qué es WARP-RM y qué estima? WARP-RM es un modelo basado en visión que estima la velocidad de progreso densa por fotograma de una tarea robótica directamente a partir de observaciones visuales, sin requerir anotaciones humanas.
¿Cómo se entrena WARP-RM sin etiquetas humanas? El algoritmo WARP utiliza un método autosupervisado que entrena al modelo para predecir deltas de tiempo normalizados para cada fotograma con respecto a un fotograma inicial, utilizando solo demostraciones exitosas teleoperadas por humanos.
¿Qué es la técnica de aumentación por distorsión temporal? La distorsión temporal varía la velocidad de reproducción del video submuestreando fotogramas en diferentes intervalos—intervalos más amplios simulan una ejecución más rápida, intervalos más estrechos simulan una ejecución más lenta—proporcionando supervisión densa en un rango continuo de velocidades de progreso.
¿Qué datos e infraestructura se utilizaron para esta investigación? La investigación utilizó datos de demostraciones teleoperadas proporcionados por XDOF, con cómputo de entrenamiento y hardware de evaluación de XDOF, y se realizó en el AUTOLAB de UC Berkeley en afiliación con BAIR.