시스템 프롬프트 설계
각 제어기 계열에 속하는 변형이라면 해당 계열 안에서 자유롭게 구성할 수 있다. 핵심 목표는 각 자유도를 상수 목표값 제어되는 각 자유도에 대해 고정된 목표값에 최대한 정확하게 추종하도록 만드는 것이다.
표준화된 코드 템플릿은 기본 골격으로 제공된다. 이 템플릿에는 제어 대상 시스템과 두 가지 제어기 유형의 정의가 포함되어 있다. 간략한 설명은 부록에서 확인할 수 있다. 언어 모델에는 실행 가능성을 보장하기 위해 이 구조 안의 TODO 구간을 구체적인 코드로 채우도록 지시한다.
Fixed-3 방식
Fixed-3 방식에서는 모델이 정확히 세 번 반복하도록 강제한다. 세 번의 반복 중 성공한 제어기 가운데 성능 점수가 가장 높은 제어기를 평가에 사용한다. 세 제어기 모두 성공 기준을 충족하지 못하면 해당 시도는 실패로 처리한다.
Success-Stop 방식
Success-Stop 방식에서는 설계된 제어기가 사전에 정한 성공 기준을 충족하는 즉시 반복을 종료한다. 설계에 실패한 경우에는 최대 세 번까지 재시도할 수 있다.
각 단계에서 이전 반복의 피드백—성능 지표나 오류 로그를 포함—이 모델에 제공되므로, 모델은 제어기 매개변수나 구조를 점진적으로 개선할 수 있다.
증류 전략
학생 모델의 백본으로 DeepSeek-R1-Distill-Qwen-1.5B를 사용한다. 표준적인 배포 최적화를 적용하면 이 정도 규모의 모델도 엣지급 가속기에서 로컬 추론을 수행할 수 있다는 근거에 따른 선택이다. 교사 모델은 GPT-5.5로, 학습을 위한 감독 목표를 생성한다.
중간 진단 추론의 역할을 살펴보기 위해, 동일한 제어기 조정 과제에서 두 가지 증류 변형을 구성했다.
답변 증류
목표 출력은 간결한 근거 설명 뒤에 실행 가능한 제어기 코드가 이어지는 형식이며, 중간 진단 과정 자체는 명시적으로 감독하지 않는다. 이 설정은 학생 모델이 관측된 응답 이력을 제어기로 직접 변환하도록 유도한다.
이렇게 학습된 학생 모델을 DeepSeek-1.5B-control-answer, 즉 Answer-Model이라 부른다.
추론 증류
목표 출력은 교사 모델이 생성한 추론 과정 뒤에 동일한 형식의 제어기 코드가 이어지는 구조다. 추론 과정에는 관측된 시스템 동작을 어떻게 해석하고 그에 맞는 제어기 변경을 어떻게 선택했는지가 기술된다.
이렇게 학습된 학생 모델을 DeepSeek-1.5B-control-think, 즉 Think-Model이라 부른다.
이해 상충 선언
저자들은 잠재적인 이해 상충으로 해석될 수 있는 상업적 또는 재정적 관계가 없는 상태에서 본 연구를 수행했음을 밝힌다.
자주 묻는 질문
제어기 설계 과제의 핵심 목표는 무엇인가? 핵심 목표는 각 자유도가 상수 목표값을 최대한 정확하게 추종하도록 만드는 것이다.
Fixed-3 방식은 제어기 설계를 어떻게 평가하는가? 정확히 세 번 반복한 뒤, 성공 기준을 충족한 제어기 중 성능 점수가 가장 높은 제어기를 평가한다. 어느 제어기도 기준을 충족하지 못하면 해당 시도는 실패로 처리한다.
Success-Stop 방식은 언제 반복을 종료하는가? 설계된 제어기가 사전에 정한 성공 기준을 충족하는 즉시 종료한다. 설계에 실패하면 최대 세 번까지 시도가 허용된다.
답변 증류와 추론 증류의 차이는 무엇인가? 답변 증류는 간결한 근거 설명과 실행 가능한 코드를 감독하는 반면, 추론 증류는 교사 모델이 생성한 진단 추론 과정까지 함께 감독한다.