论文
QUALS:通过模式量化和可学习性同步进行通用预测的语料库均衡
QUALS: Corpus Equilibrium for Universal Forecasting via Pattern Quantization and Learnability Synchronization
摘要
跨不同领域的无处不在的时间序列数据支持交通系统和电网等领域的关键应用。最近,在海量数据集上训练基础模型以实现准确的零样本预测已成为主要的研究热点。然而,当前的研究主要优先考虑架构创新,而没有充分解决数据多样性问题,往往依赖于简单的数据采样策略,无法有效管理复杂的数据分布,导致训练数据使用效率低下和性能不佳。为了解决这个问题,我们提出了 QUALS,一个大规模时间序列语料库平衡框架。 QUALS 显着提高了数据效率,即使现有模型仅使用原始训练数据的一小部分即可实现卓越的性能。具体来说,QUALS 通过两个核心机制运作。首先,模式量化框架通过矢量量化和统一分箱系统地解码来自混合语料库的异构模式。其次,可学习性同步框架校准异构模式的采样权重,弥合简单和复杂主题之间的优化差距,以最大限度地提高整体训练效率。广泛的基准测试表明,即使在训练预算大幅减少的情况下,QUALS 预训练也始终能够实现卓越的零样本性能。