Estudio de ablación: predicción y condicionamiento en subtareas
A continuación, evaluamos la importancia de predecir la subtarea activa y de condicionar la estimación del valor a ella en shirt-hang.
En la primera variante, eliminamos la predicción y el condicionamiento de subtareas, y entrenamos el modelo únicamente con la pérdida de diferencia temporal a nivel de subtarea. En la segunda variante, conservamos la pérdida de predicción de subtareas, pero no condicionamos la cabeza de valor a la subtarea. Por tanto, la subtarea no se decodifica durante la inferencia y solo queda representada implícitamente en las activaciones del modelo.
Debate, conclusión y trabajo futuro
Por último, nuestra evaluación utiliza la función Q para seleccionar entre fragmentos de acciones propuestos por una política base fija, por lo que la capacidad de guiado está limitada por la calidad y diversidad de estos candidatos.
Generar políticas base más exploratorias y utilizar la función Q aprendida para mejorar directamente la política constituye un siguiente paso natural. Además, en nuestros experimentos ajustamos la función de valor generalista para cada tarea objetivo; evaluar la transferencia con menos datos posteriores, o sin ajuste específico para cada tarea, permitiría delimitar mejor el alcance de su capacidad de generalización.
Resultados experimentales adicionales
La ablación de la Sección 4.4 separa el beneficio de la pérdida auxiliar de predicción del siguiente token (NTP) del que aporta condicionar explícitamente los valores a la subtarea decodificada.
Omitir la decodificación de subtareas resulta atractivo porque reduce la latencia de inferencia: el entrenamiento conjunto podría permitir que las activaciones latentes codificaran implícitamente la información relevante de la subtarea. Una motivación similar aparece en modelos de vídeo-acción como UVA y Fast-WAM, que conservan la supervisión del vídeo, pero evitan generar explícitamente el vídeo durante la inferencia de acciones.
Comparamos SeeQ con la variante que conserva la pérdida auxiliar NTP, pero no condiciona su cabeza de valor a los tokens de la subtarea. Ambas utilizan TD-BoN a nivel de subtarea y el mismo peso de NTP de [fórmula: el texto original especifica simbólicamente el peso de la pérdida NTP], y se ajustan con shirt-hang siguiendo el mismo esquema de tasa de aprendizaje, a partir de sus respectivos checkpoints preentrenados con RoboCOIN.
Preguntas frecuentes
¿Qué evalúa el estudio de ablación? Evalúa la importancia de predecir la subtarea activa y de condicionar la estimación del valor a dicha subtarea.
¿Qué ocurre cuando se eliminan la predicción y el condicionamiento de subtareas? El modelo se entrena únicamente con la pérdida de diferencia temporal a nivel de subtarea.
¿Por qué omitir la decodificación de subtareas podría reducir la latencia de inferencia? El entrenamiento conjunto podría permitir que las activaciones latentes codificaran implícitamente la información relevante de la subtarea.
¿Cuál es una dirección propuesta para el trabajo futuro? El trabajo futuro podría emplear políticas base más exploratorias y aplicar la función Q aprendida para mejorar directamente la política.