超越统一标记：时间序列语言模型的自适应压缩

大语言模型 (LLM) 通过共享词元接口对数值观察和文本上下文进行联合建模，从而实现了时间序列 (TS) 分析。然而，TS词元和提示词元表现出根本不同的信息结构，使得统一词元处理效率低下。在本文中，我们从非对称词元的角度研究 TS 语言建模中的词元效率。我们表明，TS 词元具有高度不均匀的频谱贡献，其中许多词元共享冗余频率模式，而一小部分保留了关键的时间证据。我们还观察到提示词元的影响随着模型深度的增加而减弱，这表明没有必要在所有层上完全保留提示。基于这些发现，我们开发了一个自适应词元预算框架，通过频域结构压缩 TS 词元，并逐步减少跨层的提示词元。预测、分类、插补和异常检测方面的实验证明，在评估设置的 \textit{\textbf{78\%}} 中，推理加速和性能提升高达 \textit{\textbf{7.68$\times$}}，显示了非对称词元压缩对于可扩展 TS 基础模型的有效性。