Diseño del prompt del sistema
Se permiten variantes dentro de cada familia de controladores, siempre que sigan perteneciendo a ella. El objetivo principal es lograr el mejor seguimiento posible de cada grado de libertad con respecto al objetivo constante un valor objetivo fijo para cada grado de libertad controlado.
Se proporciona una plantilla de código estandarizada que funciona como armazón estructural. La plantilla incluye las definiciones del sistema controlado y de los dos tipos de controladores. En el apéndice se ofrece una breve descripción. Se indica al modelo lingüístico que complete las secciones TODO específicas dentro de este marco para garantizar que el código pueda ejecutarse.
Método Fixed-3
En el método Fixed-3, se obliga al modelo a realizar exactamente tres iteraciones. Para evaluar el rendimiento, se utiliza el controlador exitoso que obtenga la puntuación de rendimiento más alta de las tres iteraciones. Si ninguno de los tres controladores cumple los criterios de éxito, la prueba se marca como fallida.
Método Success-Stop
En el método Success-Stop, la iteración finaliza inmediatamente cuando el controlador diseñado cumple los criterios de éxito predefinidos. Si el diseño falla, se permite al modelo volver a intentarlo hasta un máximo de tres veces.
En cada paso, se proporciona al modelo la información de la iteración anterior —incluidas las métricas de rendimiento o los registros de errores—, lo que le permite perfeccionar progresivamente los parámetros o la estructura del controlador.
Estrategias de destilación
Se adopta DeepSeek-R1-Distill-Qwen-1.5B como modelo base del estudiante, motivados por indicios de que los modelos de esta escala pueden ejecutar inferencia local en aceleradores de tipo edge tras aplicar optimizaciones de despliegue estándar. GPT-5.5 actúa como modelo profesor y genera los objetivos de supervisión.
Para estudiar el papel del razonamiento diagnóstico intermedio, se construyen dos variantes de destilación a partir de tareas emparejadas de ajuste de controladores.
Destilación de respuestas
El objetivo consta de una justificación concisa seguida de código ejecutable del controlador, sin supervisión explícita del proceso diagnóstico intermedio. Esta configuración anima al estudiante a relacionar directamente el historial de respuestas observado con un controlador.
El estudiante resultante se denomina DeepSeek-1.5B-control-answer, o Answer-Model.
Destilación del razonamiento
El objetivo consta de una traza de razonamiento generada por el profesor, seguida del mismo tipo de código del controlador. La traza de razonamiento describe cómo se interpreta el comportamiento observado del sistema y cómo se selecciona la modificación correspondiente del controlador.
El estudiante resultante se denomina DeepSeek-1.5B-control-think, o Think-Model.
Declaración de conflictos de interés
Los autores declaran que la investigación se llevó a cabo sin ninguna relación comercial o financiera que pudiera interpretarse como un posible conflicto de interés.
Preguntas frecuentes
¿Cuál es el objetivo principal de la tarea de diseño del controlador? El objetivo principal es lograr el mejor seguimiento posible de cada grado de libertad con respecto a un objetivo constante.
¿Cómo evalúa el método Fixed-3 los diseños de controladores? Realiza exactamente tres iteraciones y evalúa el controlador exitoso con la puntuación de rendimiento más alta. Si ninguno cumple los criterios de éxito, la prueba se marca como fallida.
¿Cuándo finaliza la iteración el método Success-Stop? Finaliza inmediatamente cuando el controlador diseñado cumple los criterios de éxito predefinidos; si el diseño falla, se permiten hasta tres intentos.
¿Cuál es la diferencia entre la destilación de respuestas y la destilación del razonamiento? La destilación de respuestas supervisa una justificación concisa y código ejecutable, mientras que la destilación del razonamiento también supervisa una traza de razonamiento diagnóstico generada por el profesor.