최근 몇 년 사이 인간 피드백을 통한 강화학습(RLHF)은 의사결정 에이전트를 인간의 의도에 맞추는 대표적인 기법으로 자리 잡았다. 선호 피드백은 제공하기 쉽다는 점 덕분에 보상 모델링을 위한 피드백 유형으로 널리 사용되어 왔다. 그러나 각 피드백이 제공하는 정보는 최대 1비트에 불과하므로, 선호 피드백은 샘플 효율이 낮은 것으로도 잘 알려져 있다. 보상 모델을 학습하기 위해 사람에게 수천 개의 비교 질문을 던지는 방식은 확장성이 떨어지는 경우가 많다.
우리가 아는 한, 이 연구는 선호 피드백으로 신경망 보상 모델을 학습하기 위해 부분공간 필터링을 활용한 최초의 연구다. 연속 제어 과제에서 능동적 선호 기반 보상 학습을 수행하며 PreferenceEKF를 널리 사용되는 네 가지 베이지안 딥러닝 기법과 비교했다. 또한 학습한 보상 모델이 오프라인 강화학습 과제에서 정책 최적화에 유용한지도 검증했다. 실험은 D4RL 및 V-D4RL 벤치마크에서 수행했다.
주요 결과는 다음과 같다.
- PreferenceEKF는 선호 모델링 과제의 샘플 효율과 보정 성능에서 모든 베이지안 딥러닝 기준선과 대등하거나 더 우수한 성능을 보였다.
- PreferenceEKF는 실행 시간이 훨씬 짧을 뿐 아니라, 다른 모든 방법보다 모델 크기와 사후 샘플 수가 증가할 때 더 잘 확장된다.
- 정책 최적화에 PreferenceEKF를 사용할 경우, 이를 통해 학습한 보상 모델로 최적화한 정책은 다른 방법으로 학습한 보상 모델을 사용해 최적화한 정책과 견줄 만한 성능을 보였다.
PreferenceEKF는 더 나은 모델 보정을 이끌어 내는가?
PreferenceEKF는 모든 방법 중 기대 보정 오차(ECE)가 가장 낮았으며, Brier 점수는 능동형 DeepEnsemble에 이어 두 번째로 낮았다. 이는 다른 베이지안 딥러닝 기준선과 비교했을 때 부분공간 추론 방법이 이룬 사후분포 근사의 품질이 높다는 점을 보여준다. 추가적인 보정 실험 세부 사항과 신뢰도 도표는 A.2.12절에 제시되어 있다.
부분공간 구성에 대한 절제 연구
초기 데이터셋이 없는 경우에는 무작위 투영 방식으로 신념을 초기화해도 보상 학습에서 충분히 좋은 성능을 얻는 경우가 많다. 이 결과는 PreferenceEKF가 확률적 경사 하강법에 의존해야 한다는 전제를 완화한다.
일관성을 위해, 별도로 명시하지 않는 한 PreferenceEKF의 주요 실험에서는 확률적 경사 하강법을 필요로 하는 특이값 분해(SVD) 기반 방식을 사용한다.
PreferenceEKF는 이미지 데이터와 희소한 선호 피드백에서도 학습할 수 있는가?
주요 실험에서는 상태 기반 제어 과제에서 PreferenceEKF의 효과를 확인했다. 이 과제에서는 두 궤적의 조밀 보상 합을 비교해 선호 레이블을 합성한다.
또한 이 방법을 흔히 사용되면서도 난도가 높은 다음 두 환경에 적용했다.
- 희소 비교 피드백.
- 픽셀 기반 제어.
더 넓은 영향
이 연구는 선호 기반 보상 모델링에서 능동 학습을 수행하는 알고리즘을 제시한다. 이를 통해 자연어 처리, 개인화 추천, 인간-로봇 상호작용처럼 주관적인 인간 평가가 필요한 응용 분야에서 신경망 학습의 효율과 정확도를 높일 수 있다.
불확실하거나 영향력이 큰 선호를 중심으로 데이터 수집을 최적화하면 레이블링 비용을 줄이고 모델을 인간의 의도에 더 잘 맞출 수 있다.
그러나 축소된 부분공간에서 작업하고 확장 칼만 필터로 추론하면 선호 모델링에서 편향 증폭이나 소수 선호의 간과와 같은 최적 미달 문제가 발생할 수 있다. 이러한 위험을 줄이려면 향후 연구에서 PreferenceEKF의 강건성과 부분공간 축소로 인해 발생할 수 있는 정보 손실을 검토해야 한다.
감사의 글
저자들은 방법에 관해 초기 논의를 진행해 준 Aleyna Kara에게 감사를 표한다.
Yutai Zhou는 USC–Capital One Center for Responsible AI and Decision Making in Finance(CREDIF)의 펠로십으로부터 일부 지원을 받았다. Erdem Bıyık은 Airbus Institute for Engineering Research(AIER)의 연구비 지원을 받았다.
LLM 사용
LLM은 주로 Python 시각화 스크립트 작성, LaTeX를 활용한 그림 및 표 조판, 부분공간 구성 방법 관련 연구 탐색, JAX 컴파일 및 모델 로딩 오류 디버깅에 사용했다.
LLM은 논문 작성, 연구 아이디어 도출, 핵심 알고리즘 구성 요소 구현에는 사용하지 않았다.
자주 묻는 질문
PreferenceEKF란 무엇인가?
PreferenceEKF는 부분공간 필터링을 사용해 선호 피드백으로 신경망 보상 모델을 학습하는 방법이다.
PreferenceEKF는 다른 베이지안 딥러닝 방법과 어떻게 비교되는가?
샘플 효율과 선호 모델 보정 성능에서 평가된 베이지안 딥러닝 기준선과 대등하거나 더 우수한 성능을 보인다.
PreferenceEKF는 어떤 보정 성능을 달성하는가?
평가된 방법 중 기대 보정 오차가 가장 낮고, Brier 점수는 두 번째로 낮다.
PreferenceEKF는 희소한 선호와 이미지 데이터에서도 작동하는가?
이 방법은 상태 기반 제어 과제뿐 아니라 희소 비교 피드백과 픽셀 기반 제어에도 적용된다.