Planteamos la generación de comportamiento controlable como inferencia variacional sobre una latente de comportamiento gaussiana con una posterior conjugada de forma cerrada y proporcionamos un marco explicativo de inclinación versus regresión que predice qué canales son identificables a partir del factor de contracción del retorno. Introducimos el etiquetado de retorno residual al contexto, las compuertas de elegibilidad suave y el condicionamiento contrastivo como extensiones al pipeline de recompensa y entrenamiento, produciendo una controlabilidad de seguridad sustancialmente superior a la ablación de elegibilidad dura, manteniendo una velocidad cercana a la real. Presentamos una contabilidad sistemática de los límites de nuestro marco a través del alcance de las matrices de dirección de canales emparejadas por deriva (CSM) en tres medidas de retorno, mostrando que la controlabilidad del mapa es específica de coordenadas y que los valores de CSM deben interpretarse junto con barreras de plausibilidad física para evitar confusiones por hacking de recompensa.
Inferencia y generación controlable
El marco opera con una escala de guía un hiperparámetro que controla la fuerza del condicionamiento. Se definen tres regímenes: marginal de población (sin condicionamiento), controlado por el usuario (dirección activa) y muestreado de la prior (latentes extraídas de la prior sin condicionamiento). Un esquema de parche de horizonte recesivo permite una generación consistente de horizonte largo, y el procedimiento completo de muestreo se detalla en el material complementario.
Experimentos
Evaluamos el método en el conjunto de datos Waymo Open Motion para responder cuatro preguntas:
- ¿La ruta incondicional genera un comportamiento realista?
- ¿La latente aprendida dirige los retornos por canal con plausibilidad física?
- ¿Qué revelan las ablaciones sin elegibilidad suave sobre la erosión de la controlabilidad de seguridad y las confusiones por hacking de recompensa?
- ¿Qué tan sensible es la controlabilidad del mapa a la elección de la medida de retorno?
Compuertas de elegibilidad y hacking de recompensa
El análisis revela que el valor de la matriz de dirección de canales de velocidad en la ablación temprana está inflado por hacking de recompensa: maximiza el retorno de velocidad suprimiendo el movimiento, haciendo que los agentes más dirigidos se detengan en lugar de mantener velocidades realistas. Por lo tanto, los valores de la matriz de dirección de canales deben leerse junto con las barreras de plausibilidad física, bajo las cuales la respuesta de velocidad es físicamente válida.
Conclusión
El trabajo futuro incluye descomposiciones de recompensa más ricas y conscientes de oportunidades que separen el cumplimiento espacial del temporal del mapa, entrenamiento en bucle cerrado con objetivos contrastivos y mecanismos de condicionamiento latente más fuertes más allá de la dirección one-hot.
Agradecimientos
Los autores agradecen al Google TPU Research Cloud (TRC) por apoyar el acceso a las TPU.
Detalles del método
Completar el cuadrado
La media y covarianza posterior se obtienen mediante una derivación estándar de completar el cuadrado, dando lugar a una posterior gaussiana conjugada de forma cerrada.
Etiquetado de retorno residual al contexto
El retorno bruto por canal confunde el comportamiento del agente con la dificultad del escenario; por ejemplo, una escena de autopista produce bajas penalizaciones fuera de carretera independientemente del estilo de conducción. El retorno residual al contexto se define como el retorno descontado por canal residualizado respecto al contexto de la escena.
Recompensa de mapa de línea central de carril
Como alternativa a la penalización compuesta fuera de carretera más borde de carretera utilizada en el retorno residual al contexto, se define un retorno de línea central de carril basado en el desplazamiento lateral con signo a la línea central del carril más cercano.
Compuertas de elegibilidad suave: fórmulas de decaimiento
Bajo elegibilidad suave, todos los agentes válidos reciben etiquetas, pero los agentes lejos de peligros contribuyen de manera insignificante al retorno descontado porque el decaimiento lleva la recompensa por paso hacia cero.
Preguntas frecuentes
¿Cómo genera el método comportamientos controlables sin reentrenamiento? Aprende una variable latente que condiciona la política durante la inferencia utilizando una posterior conjugada de forma cerrada, permitiendo a los usuarios dirigir canales de comportamiento específicos como velocidad o seguridad ajustando la latente.
¿Qué es el hacking de recompensa y cómo lo previene el marco? El hacking de recompensa ocurre cuando un modelo maximiza una métrica de retorno mediante un comportamiento no realista (por ejemplo, detenerse para aumentar las puntuaciones de velocidad). El marco lo previene emparejando valores de matrices de dirección de canales con barreras de plausibilidad física.
¿Por qué se necesitan retornos residuales al contexto en lugar de retornos brutos? Los retornos brutos confunden el comportamiento del agente con la dificultad del escenario, dificultando aislar cómo las acciones de un agente afectan su puntuación. Los retornos residuales al contexto eliminan los factores de confusión a nivel de escena.
¿Qué son las compuertas de elegibilidad suave y por qué son importantes? Las compuertas de elegibilidad suave asignan un peso decreciente a los agentes según su distancia a los peligros, en lugar de un corte duro. Esto preserva la controlabilidad de seguridad mientras evita el hacking de recompensa que ocurre con umbrales de elegibilidad dura.