论文

TTGBench:文本属性时序图的拓扑演化与语义漂移评测

TTGBench: Benchmarking Topological Evolution and Semantic Drift in Text-attributed Temporal Graphs

模型评测基准与评测资源

摘要

时态图学习模拟动态系统的演化,其中结构交互和语义状态都随着时间的推移而变化。然而,现有的基准主要强调通过时间链接预测(TLP)进行结构演化,而对语义演化的支持仍然有限。尽管有时会包含时间节点分类 (TNC),但它通常仅限于简单的二进制设置,无法捕获实际的语义漂移。此外,常用的数据集表现出较高的链接重复性,导致性能估计过高并模糊了真实的模型能力。为了解决这些限制,我们引入了 TTGBench,这是一个联合评估结构和语义演化的新基准。 TTGBench 包含六个真实世界、文本丰富的数据集,其特点是 emph{Dual Volatility},能够对现有模型进行严格和公平的评估。值得注意的是,它是第一个支持多类和多标签 TNC 的基准,填补了评估时间语义漂移的关键空白。我们对基于时态图神经网络 (TGNN) 和大型语言模型 (LLM) 范式的 17 种最先进方法进行了全面评估。结果揭示了两种范式之间明显的能力鸿沟:基于 TGNN 的方法擅长结构预测,但在语义跟踪方面失败,而基于 LLM 的预测器则显示出相反的趋势。通过深入分析,我们揭示了它们的根本局限性,并为开发更全面的时间图模型提供了见解。