论文
ChronoVAE-HOPE:超越关注——用于专业时间序列分类的下一代 VAE 基础模型
ChronoVAE-HOPE: Beyond Attention -- A Next-Generation VAE Foundation Model for Specialized Time Series Classification
摘要
时间序列基础模型(TSFM)已成为一般时间序列预测领域最先进的一个新组成部分。然而,使它们适应专门的分类任务仍然受到两个相互关联的挑战的限制:标准注意力机制的二次成本以及无法解开时间序列变异性背后的结构组成部分。本技术报告介绍了 ChronoVAE-HOPE,这是一种下一代 TSFM,它可以协调大规模泛化与时间序列分类的结构化潜在表示。该提案的核心是基于 HOPE Block 构建的变分自动编码器 (VAE) 框架,它用双记忆系统取代二次注意力:用于动态短期保留的泰坦模块和用于抽象长期历史背景的连续记忆系统 (CMS)。一个关键的架构新颖性是解开的潜在空间,它通过专用的编码器头和单独的解码器路径将表示分解为独立的趋势和季节性分量。 ChronoVAE-HOPE 在 Monash 档案上进行自我监督的 预训练,将掩模时间序列建模 (MTSM) 辅助目标与解开的 VAE 重建损失相结合。预训练的编码器随后被冻结并用于生成固定长度的嵌入,以便在 UCR 基准数据集上进行下游分类。实证结果表明,在不同的时间域中,特别是在以严格因果结构为特征的环境中,都有很强的表现。 ChronoVAE-HOPE 建立了一个强大且可解释的框架,通过结构化生成表示使基础模型适应时间序列分类。