EXAONE 金融 1.0：一种无注意力的金融时间序列基础模型

本技术报告介绍了EXAONE金融（EXAONE Finance），一种专为金融时间序列预测设计的时间序列基础模型（TSFM）。尽管近期的TSFMs通过大规模预训练实现了强零样本性能，但其主要面向通用领域的时间序列，且高度依赖自注意力结构，其计算成本随序列长度和变量数量呈平方增长。此外，这些模型假设输入完全观测，并在训练数据上依赖于无法充分捕捉金融市场独特动态的语料库。这些局限性限制了其在金融领域的适用性，因为金融场景中常见长序列、多通道且间歇性观测的面板数据。为解决这些问题，EXAONE Finance采用无注意力架构，用两种简单而有效的线性时间运算替代自注意力：（1）因果一维卷积用于时间维度的混合，（2）分组感知的池化多层感知机（MLP）用于变量维度的混合。此外，通过掩码上下文增强，在训练中引入连续缺失片段，提升模型对金融市场普遍存在的缺失值的鲁棒性。EXAONE Finance在合成金融语料库上进行预训练，该语料库的生成过程旨在复现金融序列特性，如厚尾、波动聚集、跳跃、市场状态转换以及跨资产相关性，并结合一个领域无关的合成源。在FinVerse金融预测基准上，该模型在点预测精度、跨资产排名和投资组合盈利能力三个评估层级上均达到最优表现，排名第一。