Los modelos generativos del mundo alucinan de maneras predecibles vinculadas a la cobertura de datos, y una única intervención centrada en los datos puede prevenir simultáneamente los tres modos de fallo.
Caracterización de la alucinación
Identificamos tres formas distintas en que un modelo generativo del mundo puede alucinar, cada una ligada a una etapa diferente del pipeline de imaginación.
Alucinación marginalizada por acción. Condicionada a un contexto, el siguiente latente predicho es en gran medida insensible a la acción de entrada. El despliegue es visualmente plausible pero colapsa en un futuro marginalizado por acción, por lo que el modelo se comporta más como un generador de videos que como un modelo del mundo controlable. Operativamente, exponemos este modo interviniendo en el flujo de acciones en tiempo de evaluación, por ejemplo, barajando aleatoriamente las acciones dentro de un lote y midiendo el cambio resultante en el MSE del flujo; un modelo que alucina de esta manera es aquel cuyo MSE de flujo apenas se mueve bajo la intervención.
Alucinación divergente de escena. Es bien sabido que los despliegues autorregresivos acumulan errores compuestos a medida que aumenta el horizonte de predicción. Sin embargo, la alucinación divergente de escena es un modo de fallo muy específico donde se predicen eventos físicamente implausibles (como que una pelota teletransporte de vuelta al juego al anotar en Pong). Este tipo de alucinación es más frecuente en estados con mala cobertura de datos.
Estos tres tipos de modos de fallo exploran piezas disjuntas del modelo: el tokenizador, el condicionamiento por acción del modelo de dinámica y la acumulación multi-paso del error de dinámica.
Mitigación de la alucinación
La taxonomía y los predictores anteriores sugieren una única lente centrada en datos para la alucinación: cada uno de los tres modos de fallo es, mecánicamente, una consecuencia de que el modelo haya visto muy poco de alguna región del espacio estado-acción. Una alucinación perceptual es una brecha de cobertura en la distribución de reconstrucción del tokenizador, una alucinación marginalizada por acción es una brecha de cobertura en las transiciones condicionadas por acción, y una alucinación divergente de escena es una brecha de cobertura a lo largo de la trayectoria que se le pide al modelo imaginar.
Dos intervenciones se siguen naturalmente:
Entrenamiento consciente de cobertura. Proponemos remuestrear el conjunto de datos existente para aumentar el peso de las regiones subrepresentadas del espacio estado-acción, y luego preguntarnos si cerrar esas brechas en el tiempo de entrenamiento reduce simultáneamente los tres modos de fallo. Debido a que la lente anterior identifica la cobertura como la palanca subyacente para cada tipo de alucinación, se espera que una única receta de reponderación mueva las tres señales en la dirección correcta a la vez, en lugar de requerir una intervención separada por tipo. En la práctica, reequilibramos los datos de entrenamiento ajustando el muestreo para que sea uniforme entre tareas en lugar de entre fotogramas. También experimentamos con la reponderación de pérdidas, pero encontramos que las intervenciones en el muestreo son superiores.
Preguntas frecuentes
¿Cuáles son los tres tipos de alucinación en modelos del mundo? Los tres tipos son alucinación perceptual (brecha de reconstrucción), alucinación marginalizada por acción (fallo en el condicionamiento por acción) y alucinación divergente de escena (error acumulado por mala cobertura de trayectorias).
¿Cómo se puede predecir la alucinación? La alucinación es predecible a través de indicadores medibles vinculados a la cobertura de datos: verificar qué tan insensible a la acción es la dinámica latente o detectar cuándo aparecen eventos físicamente implausibles en los despliegues.
¿Qué es el entrenamiento consciente de cobertura? Es una intervención centrada en datos que repondera las muestras de entrenamiento para aumentar el peso de las regiones subrepresentadas del espacio estado-acción, abordando los tres tipos de alucinación con una sola receta.
¿Es el entrenamiento consciente de cobertura más efectivo que la reponderación de pérdidas? Sí, los experimentos muestran que ajustar el muestreo para que sea uniforme entre tareas en lugar de entre fotogramas es superior a la reponderación de pérdidas para prevenir la alucinación.