论文
InA-Probe:面向具有LLM的时间序列预测的指令感知主动探查
InA-Probe: Instruction-Aware Active Probing for Time Series Forecasting with LLMs
摘要
大型语言模型 (LLM) 最近在时间序列预测方面展现出了令人印象深刻的潜力。然而,现有的方法主要依赖于被动模态对齐或静态任务重新编程,这通常无法捕获细粒度的、非平稳的时间模式或适应细致入微的任务意图。在本文中,我们提出了指令感知主动探测(InA-Probe),它将范例从被动对齐转变为主动、指令驱动的探测机制。具体来说,我们设计了一种多级指令注入机制,该机制通过全局任务目标和细粒度的补丁级语义先验丰富了模型。在此基础上,自适应查询生成模块生成由时间上下文动态调制的特定于样本的探针。然后,这些探针通过双阶段注意力过程进行细化:它们首先通过指令感知自注意力内化特定于任务的意图,然后通过时间交叉注意力询问预测的时间表示以提取显着模式。对七个现实世界基准的综合实验表明,InA-Probe 始终优于最先进的深度学习和基于 LLM 的基线,在一对一泛化和零样本迁移方面表现出色,同时在具有挑战性的跨域场景中将预测误差降低高达 37%。消融研究进一步证实,自适应查询和细粒度指令之间的协同作用是释放 LLM 对复杂时间序列的推理能力的关键。
