4.4 ¿Qué permite mejorar las políticas generalistas?
Tras evaluar nuestras recetas a gran escala, ahora validamos decisiones de diseño clave para el posentrenamiento VLA multitarea e investigamos varias técnicas alternativas de extracción de políticas guiada por crítico. Véase el apéndice C para más estudios de ablación, incluidos el escalado de datos y cómputo, y la asignación de recursos.
5 Discusión
El objetivo principal de este trabajo es contribuir a la comprensión de los mecanismos y las tendencias de la auto mejora en línea en sistemas dinámicos. Creemos que nuestros resultados constituyen un punto de partida prometedor para trabajos futuros, que podrán basarse en las sencillas recetas de RL escalables que desarrollamos y estudiar los beneficios del posentrenamiento multitarea a gran escala en hardware real.
Declaración de reproducibilidad
Garantizamos la reproducibilidad publicando el código de toda nuestra canalización de entrenamiento en la URL indicada al final de la sección 3.3. Todos los datos utilizados se recopilan en línea y no se necesita ningún conjunto de datos sin conexión para reproducir los resultados. También detallamos el entrenamiento, los hiperparámetros y las divisiones de tareas en el apéndice D.
D.4 Protocolo de evaluación
Tanto en LIBERO como en MolmoSpaces, evaluamos cada política dentro de la distribución y en tareas no vistas. Para LIBERO, el conjunto de tareas no vistas consta de 25 tareas. Para MolmoSpaces, consta de ocho escenas no vistas de objetos de la división de 144 tareas y seis objetos no vistos (véase el apéndice D.1). La métrica utilizada en todos los casos es la tasa de éxito.
Durante el entrenamiento, la tasa de éxito dentro de la distribución se mide en los 20 episodios que la política recopila por tarea en cada ronda, por lo que no se necesitan ejecuciones adicionales para evaluaciones intermedias. Tras la última fase de entrenamiento, realizamos una fase de evaluación independiente de 32 episodios por tarea, tanto dentro de la distribución como en tareas no vistas. Repetimos cada experimento con tres semillas e informamos la tasa de éxito media entre semillas, junto con intervalos de confianza bootstrap estratificados del 95% calculados con rliable.
D.5 Recursos computacionales
Nuestros experimentos se ejecutaron en nodos con cuatro GPU NVIDIA GH200 cada uno. Una ejecución de tarea única tardó aproximadamente 2–5 horas de tiempo de reloj, según la tarea. Las ejecuciones con las mayores divisiones multitarea tardaron 200 horas.
Preguntas frecuentes
¿Cómo se midió el rendimiento de las políticas? La métrica fue la tasa de éxito, medida tanto dentro de la distribución como en tareas no vistas.
¿Cuántos episodios de evaluación se ejecutaron después del entrenamiento? La fase de evaluación independiente utilizó 32 episodios por tarea, tanto dentro de la distribución como en tareas no vistas.
¿Cuántas semillas aleatorias se utilizaron? Cada experimento se repitió con tres semillas, y se informó la tasa de éxito media junto con intervalos de confianza bootstrap estratificados del 95%.
¿Qué recursos computacionales se utilizaron? Los experimentos se ejecutaron en nodos con cuatro GPU NVIDIA GH200 cada uno. Las ejecuciones de tarea única tardaron aproximadamente 2–5 horas, mientras que las ejecuciones multitarea más grandes tardaron 200 horas.