一对一：用于时间序列预测的轻量级稳定且参数高效的预训练 LLM

我们解决了将预训练的 大语言模型 (LLM) 用于多元时间序列分析的挑战，其部署常常受到过高的计算和内存需求的阻碍。我们的解决方案 One-for-All 引入了高斯秩稳定低秩适配器 (rsLoRA)，以实现冻结 LLM 的参数高效 微调。受到 LoRA 的启发，rsLoRA 引入了一种以数学为基础的秩稳定机制，可以在低秩下实现可证明的梯度稳定性，这是先前 PEFT 方法中不存在的新颖贡献。我们的框架将可训练的低秩分解矩阵（秩为16）注入到位置嵌入和输出层中，同时保持自注意力权重固定。此设计将可训练参数减少了 6.8$\times$（与 TimesNet 相比）、21$\times$（与 GPT4TS 相比）和 11.8$\times$（与 TIME-LLM 相比），同时实现了 168-1,776$\times$ 较小的内存占用（2.2MiB vs. 340MiB-4.18GiB） SOTA 模型）。对六个时间序列任务的严格评估表明，One-for-All 实现了最先进的效率与准确性权衡：参数效率比 TimesNet 高 5.5 倍（MSE = 5.50），比 GPT4TS 高 21 倍，同时匹配其预测精度（MSE = 0.33）。该框架的稳定性通过不同范围（96-720 步骤）和数据集（ETT、天气、M3、M4）的一致性能得到验证，参数比传统 Transformer 少 98.3%。这些进步使得能够在医疗保健、金融和环境监测的边缘设备上进行部署，而不会影响性能。