沙丘社区
论文

基于理由锚定的多模态大语言模型时序推理上下文学习

Rationale-Grounded In-Context Learning for Time Series Reasoning with Multimodal Large Language Models

Qingxiang Liu, Zhiqing Cui, Xiaoliang Luo, Yuqian Wu, Zhuoyang Jiang, Huaiyu Wan, Sheng Sun, Lvchun Wang, Wei Yu, Yuxuan Liang
上下文与知识检索增强

摘要

现有多模态大语言模型在时序推理上表现欠佳，其根源在于缺少将时间观测与其下游结果相联系的理由先验，导致模型依赖表面模式匹配而非有原则的推理。因此，我们提出面向时序推理的理由锚定上下文学习，其中理由作为引导推理的单元而非事后解释，并开发了 RationaleTS 方法。具体而言，我们首先归纳由从可观测证据到潜在结果的推理路径组成的标签条件理由；然后设计混合检索，在时间模式与语义上下文之间取得平衡，为新样本的最终上下文推断检索相关的理由先验。我们开展了大量实验，在三个领域的时序推理任务上证明了所提 RationaleTS 的有效性与效率。我们将发布代码以供复现。

基于理由锚定的多模态大语言模型时序推理上下文学习 配图
图 2：RationaleTS 的工作流，包括 ➊ 溯因理据生成（Abductive Rationale Generation，§3.2.1）、➋ 混合检索（Hybrid Retrieval，§3.2.2）与 ➌ 基于理据的上下文内推理（Rationale-Grounded In-Context Inference，§3.2.3）。