增强LLM在时序点过程中的时间感知

时序点过程（TPP）对于分析随时间发生的事件至关重要，广泛应用于金融、医疗和社会系统等领域。这些过程在理解事件如何随时间展开方面尤其有价值，能够考虑事件的不规则性和依赖关系。尽管大语言模型（LLM）在序列建模上取得了成功，将其应用于时序点过程仍然具有挑战性。一个关键问题是，现有方法难以有效捕捉时间信息与语义上下文之间复杂的交互，而这对准确的事件建模至关重要。在此背景下，我们提出TPP-TAL（Temporal Point Processes with Enhanced Temporal Awareness in LLMs），一个旨在增强LLM内时间推理的新型即插即用框架。TPP-TAL没有采用简单拼接事件时间与类型嵌入的常规方法，而是在将信息输入LLM之前显式地对齐时间动态与上下文语义。这种对齐使模型能更好地感知事件与其周围上下文之间的时间依赖和长程交互。通过在多个基准数据集上的全面实验，结果表明TPP-TAL在时序似然估计和事件预测准确率上带来显著提升，凸显了增强LLM时间感知对连续时间事件建模的重要性。代码发布于 https://github.com/chenlilil/TPP-TAL。