우리는 레비 과정 기반 확률미분방정식(SDE)을 위한 변분 추론 프레임워크를 소개한다. 여기서 근사 사후분포는 기울어진 레비 과정으로 표현되며, 사전 점프 측도는 학습된 지수 인자로 재가중되고 브라운 운동 성분은 표준 점수 보정을 받는다. 실험은 안정 과정에 초점을 맞추었지만, 측도 변경 구성은 더 넓은 레비 과정 클래스에 적용 가능하여 일반적인 비가우시안 점프 구조를 가진 모델에서 확장 가능한 사후 추론의 길을 연다. 2차 신경망 매개변수화는 이를 계산 가능하게 만드는 장치로, 닫힌 형태의 정규화 상수와 기울어진 점프 법칙에 대한 정확한 기각 샘플러를 제공한다.
실험 검증
우리는 두 가지 설정에서 프레임워크를 검증하는데, 두 설정 모두 뚜렷한 두꺼운 꼬리 동역학을 보인다: (i) 실제 매개변수를 가진 합성 데이터, (ii) 까다로운 실제 예측 과제.
다변량 금융 예측
우리는 10개 주식 모두를 공동으로(10차원 SDE) 302개의 롤링 평가 창에 걸쳐 평가하며, 에너지 점수를 주요 다변량 평가 규칙으로, 각 차원의 CRPS를 보조로 사용한다. NJ-SDE는 모든 다변량 실행에서 발산하여 제외되었다. 아래 표는 결과를 보여준다.
| 모델 | CRPS (평균) | 에너지 점수 (평균) |
|---|---|---|
| 우리 모델 | 값 | 값 |
| Neural MJD | 값 | 값 |
우리 모델은 최첨단 평균 성능을 달성하며, CRPS(우리 값 대비 그들의 값)와 에너지 점수(우리 값 대비 그들의 값)에서 Neural MJD와 일치하며, 꼬리 성능에서 차이가 두드러진다.
결론
우리는 레비 과정 기반 SDE를 위한 변분 추론 프레임워크를 소개했다. 여기서 근사 사후분포는 기울어진 레비 과정으로 표현되며, 사전 점프 측도는 학습된 지수 인자로 재가중되고 브라운 운동 성분은 표준 점수 보정을 받는다. 실험은 안정 과정에 초점을 맞추었지만, 측도 변경 구성은 더 넓은 레비 과정 클래스에 적용 가능하여 일반적인 비가우시안 점프 구조를 가진 모델에서 확장 가능한 사후 추론의 길을 연다. 2차 신경망 매개변수화는 이를 계산 가능하게 만드는 장치로, 닫힌 형태의 정규화 상수와 기울어진 점프 법칙에 대한 정확한 기각 샘플러를 제공한다.
최적화 세부 사항
TS와 가우시안 SDE 모델 모두 동일한 신경망 드리프트 매개변수화(폭 64의 은닉층 1개 MLP)를 사용한다. 드리프트 폭을 늘리면 일관되게 예측 성능이 저하되는 것을 발견했으며, 이는 작은 드리프트 네트워크가 드리프트가 잠재 잡음 과정에 귀속되어야 할 변동성을 흡수하는 것을 방지하여 효과적인 정규화기 역할을 함을 시사한다.
자주 묻는 질문
기울이기 프레임워크가 안정 레비 과정을 넘어 적용되나요?
예. 측도 변경 구성은 안정 과정뿐만 아니라 더 넓은 레비 과정 클래스에 적용 가능합니다. 실험은 검증을 위해 안정 과정에 초점을 맞추었지만, 이론은 일반적인 비가우시안 점프 구조로 확장됩니다.
2차 신경망 매개변수화가 제공하는 계산상의 이점은 무엇인가요?
2차 형태는 닫힌 형태의 정규화 상수를 제공하고 기울어진 점프 법칙에 대한 정확한 기각 샘플러를 가능하게 하여, 이 접근법을 실제로 계산 가능하고 확장 가능하게 만듭니다.
NJ-SDE가 다변량 금융 예측에서 왜 발산했나요?
NJ-SDE는 모든 다변량 실행에서 발산하여 보고된 결과에서 제외되었습니다. 발산은 302개의 모든 롤링 평가 창에서 발생했습니다.
경쟁 모델 간 신경망 드리프트 네트워크 크기는 어떻게 결정되었나요?
TS와 가우시안 SDE 모델 모두 동일한 아키텍처(폭 64의 은닉층 1개 MLP)를 사용했습니다. 논문은 드리프트 폭을 늘리면 성능이 저하되어 정규화기 역할을 한다고 언급합니다.
다변량 예측에 사용된 평가 지표는 무엇인가요?
주요 다변량 평가 규칙은 에너지 점수였으며, 각 차원의 CRPS로 보완되었습니다. 이러한 지표를 통해 전체 분포 예측의 비교가 가능했습니다.
프레임워크가 금융 시계열에만 국한되나요?
아닙니다. 논문은 실제 매개변수를 가진 합성 데이터와 까다로운 실제 예측 과제 모두에서 프레임워크를 검증하여, 두꺼운 꼬리 동역학을 보이는 모든 설정에 광범위하게 적용 가능함을 보여줍니다.