论文

连续性和序数很重要:使用 大语言模型 约束时间序列标记以进行有效的时间序列分析

Continuity and Ordinality Matter: Constraining Time Series Tokens for Effective Time Series Analysis with Large Language Models

上下文与知识上下文工程

摘要

基于词元的时间序列 大语言模型 (TS-LLM) 已成为时间序列分析和推理的一个有前途的方向。然而,先前的研究很大程度上忽视了时间序列标记固有的连续性和有序性,这极大地限制了模型的性能。在本文中,我们认为在时间序列词元嵌入中保留这些属性对于基于词元的 TS-LLM 的有效性至关重要。为此,我们提出了 COM(Continuity and Ordinality Matter),这是一种连续性和序数感知策略,它将几何约束集成到初始化和训练阶段。多个时间序列分析基准的实证结果表明,COM 持续提高了基于词元的 TS-LLM 的性能,取得了有竞争力的结果和很强的通用性。代码可在 https://anonymous.4open.science/r/COM 获取。