언제 계산을 멈출지 학습하는 동적 확산 정책 (2026)

환경 및 기준선 구성

환경

MuJoCo 벤치마크에서 HalfCheetah-v4, Walker2d-v4, Hopper-v4, Ant-v4 등 서로 다른 네 가지 환경을 사용했다. 이 환경들의 행동 차원은 3~8이며, 체화된 에이전트를 복잡하게 제어하면서도 MuJoCo 구현을 통해 빠른 시뮬레이션이 가능하다는 점을 고려해 선정했다.

전체 확산 과정에서의 POGP 기준선 성능

첫 번째 실험에서는 제안한 PVF 기반 동적 확산 과정 없이, 독립적인 확산 정책으로서 POGP가 보이는 성능을 확인하고자 했다. POGP를 전체 확산 단계 수로 평가해 다른 기준선 방법들과 동일한 조건으로 비교했다.

결론

POGP는 확산 정책에서 추가적인 잡음 제거 반복을 언제 중단할지 학습하는 방법이다. 이를 위해 잡음 제거 연쇄에 대해 Bellman 방식의 재귀를 적용해 prefix value function(PVF)을 학습한다. PVF는 두 가지 역할을 한다.

중간 확산 단계를 실행 가능한 행동으로 유도하는 보조 최적화 목표를 제공한다.
이후 반복이 의미 있는 개선을 가져오지 못할 것으로 예상될 때 잡음 제거를 중단하는 테스트 시점 기준을 제공한다.

네 가지 MuJoCo 과제와 12개 기준선에서 POGP는 거의 완전한 성능을 유지하면서 확산 계산 예산을 약 66% 줄였다. 또한 종합 사분위 평균(IQM)에서 최신 기준선보다 약 4.6% 높은 성능을 보였다.

저자들은 보고된 결과에 기여한 계산 자원과 기술 지원을 제공한 Virginia Tech의 Advanced Research Computing에 감사를 표한다.

다중 위험 요인 학습

자연스러운 확장 방향은 단일 위험 요인이 아니라 여러 위험 요인의 분포에서 학습하는 것이다.

네트워크 아키텍처

공정한 비교를 위해 모든 네트워크는 동일한 백본을 사용한다.

환경 비평가

환경 비평가는 표준 SAC 및 TD3 비평가와 동일한 구조를 사용한다. 구체적으로 256개 유닛과 ReLU 활성화 함수로 구성된 MLP다. 입력은 환경 상태와 행동 표현이며, 이중 Q 값 추정을 위해 서로 독립적인 두 개의 헤드를 사용한다.

Prefix 비평가

Prefix 비평가는 256개 유닛과 ELU 활성화 함수로 구성된 MLP다. 입력은 환경 상태, 부분적으로 잡음이 제거된 행동, 확산 타임스텝이며, 확산 타임스텝은 잡음 제거기 타임스텝 임베딩과 동일한 방식으로 인코딩한다. 출력은 스칼라다.

완성 맵은 의도적으로 얕게 설계했다. 목적이 재정제가 아니라 사영이기 때문이다. 더 깊은 맵을 사용하면 재정제를 암묵적으로 학습하는 매개변수가 추가되어 절제 실험의 해석을 방해할 수 있다. 완성 맵의 깊이를 두 층으로 늘려도 결과는 유의미하게 달라지지 않았으며, 유지율 차이도 작았다.

기준선 구현

모든 기준선은 동일한 데이터 처리, 리플레이 버퍼 관리, 평가 프로토콜을 적용하기 위해 공유 코드베이스에서 처음부터 다시 구현했다. 공식 코드가 공개된 기준선의 경우, 공통 참조 과제인 100만 스텝 HalfCheetah에서 구현 결과가 보고된 수치와 2% 이내로 일치하는지 확인했다.

TD3: Twin-delayed DDPG. 표준 하이퍼파라미터와 정책 평활화를 사용하며, 정책 평활화 노이즈 스케일을 적용하고 평활화 노이즈를 클리핑한다.
SAC: 자동 엔트로피 조정을 사용하는 Soft actor-critic.
PPO: 64개의 병렬 환경, 정책 비율 목적 함수 클리핑, 업데이트당 10회 에포크를 사용하는 Proximal policy optimization.
Diffusion-QL: 타임스텝 가중 행동 복제 손실을 사용하는 확산 정책. 오프라인 사전 학습이 없는 온라인 변형이다.
DPPO / D²PPO: PPO 방식의 업데이트로 최적화한 확산 정책. D²PPO는 두 번째 잡음 제거 단계를 추가한다.
SDAC: Score-matching diffusion actor-critic. 전체 연쇄를 거쳐 역전파하지 않도록 score-matching 보조 손실을 사용한다.
DSAC-D: 직접적인 score 기반 정책 업데이트를 사용하는 soft actor-critic의 확산 확장판.
D3P: 학습된 깊이 선택 사전분포와 동적 조기 종료를 사용하는 확산 정책.
IDQL: 오프라인 암묵적 확산 Q-learning. 무작위 정책 리플레이 버퍼에서 얻은 데이터로 100,000 스텝의 오프라인 사전 학습을 수행한 뒤, 900,000 스텝의 온라인 미세 조정을 진행한다.
FQL: Flow Q-learning. 한 단계 행동 생성을 가능하게 하도록 reflow 목적 함수로 flow 기반 정책을 학습한다.
SAC-GMM: 5개 성분의 가우시안 혼합 정책을 사용하는 SAC. 반복적 정제가 없는, 모델 용량을 맞춘 다중 모드 기준선으로 활용한다.

계산 자원

모든 실험은 80GB 메모리를 탑재한 단일 NVIDIA A100 GPU에서 수행했다.

총 계산량은 다음과 같다.

100만 스텝 실행당 실제 소요 시간은 POGP에서 약 1.0~1.2시간이었다. 공유 연쇄 생성 때문에 기준선보다 약간 길었다.
비확산 기준선의 100만 스텝 실행당 실제 소요 시간은 약 0.7~0.9시간이었다.

고차원 행동 공간

환경별 기여도 분석에서 Ant(Ant의 행동 차원)의 이득이 HalfCheetah(HalfCheetah의 행동 차원)보다 작게 나타났다. 두 가지 요인이 영향을 미쳤을 것으로 추정한다.

더 큰 그래디언트 노이즈

행동 공간의 차원이 높아지면 비평가 추정 분산이 커져 위험 요인 Bellman 목표의 신뢰도가 낮아진다. Q-그래디언트 신뢰도는 HalfCheetah의 0.82에 비해 Ant에서 0.58이었다.

더 깊은 완성 맵이나 앙상블 V-비평가가 두 문제를 모두 완화할 수 있지만, 아키텍처와 목적 함수를 뒤섞지 않기 위해 후속 연구 과제로 남겨 둔다.

위험 요인 값

표 11은 지정된 확산 깊이에서, 평가한 위험 요인 범위 전반에 걸친 균일한 위험 요인 값에 대한 전체 연쇄 리턴과 유지율을 보고한다.

논의

표 14에서는 세 가지 경향이 나타난다.

두 방법 모두 확산 단계 수가 늘어날수록 전체 연쇄 리턴이 단조롭게 향상된다.
더 긴 연쇄는 더 표현력 높은 정책을 제공한다.
POGP는 평가한 모든 연쇄 길이에서 절대 리턴 기준으로 SDAC를 일관되게 앞섰으며, HalfCheetah에서 그 격차는 약 28~30점으로 거의 일정했다.

Prefix 학습 목표는 전체 연쇄의 품질을 저해하지 않는다.

오프라인 강화학습 및 계획을 위한 확산 모델

강화학습에서 확산 모델을 사용하는 연구는 온라인 학습 방식보다 먼저 시작되었다. 확산 모델은 전체 궤적 분포를 모델링하는 데 사용되었고, 궤적을 샘플링한 뒤 재순위를 매겨 계획을 수행할 수 있게 했다. Diffusion-QL은 오프라인 환경에서 타임스텝 가중 미세 조정 목적 함수를 사용하는 확산 액터를 처음으로 도입했다.

이러한 오프라인 방법은 추론이 항상 끝까지 진행된다고 암묵적으로 가정한다. POGP의 Prefix 학습은 이들의 목적 함수를 온라인 가변 계산 환경으로 확장한다.

옵션 및 시간적 추상화와의 관계

옵션 프레임워크는 환경 시간상의 정책을 시작 조건과 종료 함수를 갖는 시간적으로 확장된 행동으로 분해한다. POGP의 정제 MDP는 시간에 따른 종료라는 구조를 공유하지만, 환경 시간이 아니라 정제 시간에서 작동한다.

옵션 내부의 계산 자체를 Prefix 최적 과정으로 보는 형식적 통합은 POGP를 계층적 설정으로 확장하는 데 도움이 될 수 있다.

적응형 계산 시간과의 관계

Adaptive Computation Time(ACT)과 PonderNet은 지도 학습 환경에서 반복 계산을 언제 중단할지 학습한다. POGP는 이에 대응하는 강화학습 방법으로, 별도의 중단 네트워크 없이 학습된 Prefix 가치 함수에서 중단 규칙이 자연스럽게 도출된다.

ACT와 달리 POGP의 중단 기준은 계산에 불이익을 주는 비용이 아니라 기대 리턴에 기반한다.