论文
超越相似性:使用大语言模型进行时间序列预测的覆盖范围感知提示选择
Beyond Similarity: Coverage-Aware Prompt Selection for Time Series Forecasting with LLMs
摘要
基于相似性的检索是在上下文学习、检索增强生成和基于提示的时间序列预测中调节大型语言模型 (LLM) 的主导规则。该规则集中于几乎重复的候选者,这个问题激发了多样性感知检索,但在其他检索条件管道中仍未得到检查。我们使用基于提示的时间序列预测作为测试平台来研究这个问题,其中通过相似性检索学习的提示池。这种设置中的主导方法在没有冗余控制的情况下通过余弦相似性检索前 K 个条目,从而产生对主导时间模式的偏见,同时忽略了罕见但信息丰富的事件。我们提出了 CASP-LLM,一种覆盖感知语义提示框架,通过将使用跟踪和饱和门技术结合到不添加可学习参数的覆盖正则化器中来解决这种提示选择偏差。在六个长期基准和 M4 短期基准上,CASP-LLM 在大多数数据集范围设置上匹配或改进了基于相似性的 LLM 预测器,但电力、M4 每月和少数样本长期范围设置除外。一项对照研究将故障模式定位在跨批次使用级别,而不是每次检索冗余:检索内多样化(例如 MMR)没有帮助,而在整个训练中规范锚点使用则有帮助。