神经倾斜使莱维驱动SDE推断可扩展且实用

Yaman Kindap, Manfred Opper, Benjamin Dupuis, Umut Simsekli, Tolga Birdal

1 分钟阅读•2026年5月13日

我们引入了一个变分推断框架,用于莱维驱动随机微分方程(SDE),其中近似后验表示为倾斜莱维过程:先验跳跃测度通过学习到的指数因子重新加权,布朗运动部分获得标准得分校正。尽管我们的实验集中于稳定过程,但测度变换的构造适用于更广泛的莱维过程类别,为具有一般非高斯跳跃结构的模型开辟了可扩展后验推断的路径。二次神经参数化是使其可处理的计算手段,产生了封闭形式的归一化常数和倾斜跳跃律的精确拒绝采样器。

实验验证

我们在两个均表现出显著重尾动态的设置上验证了我们的框架:(i)具有真实参数的合成数据,以及(ii)具有挑战性的真实世界预测任务。

多元金融预测

我们联合评估了所有十只股票(一个10维SDE),跨越302个滚动评估窗口,使用能量得分作为主要多元评分规则,同时辅以单维CRPS。NJ-SDE在每次多元运行中均发散,因此被排除。下表报告了结果。

模型CRPS(平均)能量得分(平均)
我们的模型值值
Neural MJD值值

我们的模型达到了最先进的平均性能,在CRPS(我们的值与它们的值)和能量得分(我们的值与它们的值)上与Neural MJD相当,区别体现在尾部性能上。

结论

我们引入了一个变分推断框架,用于莱维驱动SDE,其中近似后验表示为倾斜莱维过程:先验跳跃测度通过学习到的指数因子重新加权,布朗运动部分获得标准得分校正。尽管我们的实验集中于稳定过程,但测度变换的构造适用于更广泛的莱维过程类别,为具有一般非高斯跳跃结构的模型开辟了可扩展后验推断的路径。二次神经参数化是使其可处理的计算手段,产生了封闭形式的归一化常数和倾斜跳跃律的精确拒绝采样器。

优化细节

TS和高斯SDE模型均使用相同的神经漂移参数化(一个隐藏层MLP,宽度64)。我们发现增加漂移宽度始终会降低预测性能,这表明较小的漂移网络通过防止漂移吸收本应归因于潜在噪声过程的变异性,起到了有效的正则化作用。

常见问题

倾斜框架是否适用于稳定莱维过程之外的过程?

是的。测度变换的构造适用于更广泛的莱维过程类别,而不仅仅是稳定过程。实验集中于稳定过程以进行验证,但理论可推广到一般非高斯跳跃结构。

二次神经参数化提供了什么计算优势?

二次形式产生封闭形式的归一化常数,并支持倾斜跳跃律的精确拒绝采样器,使该方法在实践中可处理且可扩展。

为什么NJ-SDE在多元金融预测中发散?

NJ-SDE在每次多元运行中均发散,因此从报告结果中排除。发散发生在所有302个滚动评估窗口中。

竞争模型中的神经漂移网络规模是如何确定的?

TS和高斯SDE模型均使用相同的架构:一个隐藏层MLP,宽度64。论文指出,增加漂移宽度会降低性能,起到正则化作用。

多元预测使用了哪些评分指标?

主要多元评分规则是能量得分,辅以单维CRPS。这些指标允许比较完整的分布预测。

该框架是否仅限于金融时间序列?

不。论文在具有真实参数的合成数据和具有挑战性的真实世界预测任务上验证了该框架,证明其更广泛适用于任何重尾动态设置。

是否应始终偏好较小的漂移网络,以避免将噪声方差吸收到学习到的漂移中?