当图语言模型超越记忆时

目前还不清楚图语言模型是学习结构规律还是仅仅记住训练图；仅靠当前的总体保真度指标无法解决这一问题。我们开发了一种校准的诊断协议，该协议结合了频繁的子图挖掘、图级引导基线和三级频率分层，以将记忆与结构对齐分开。使用这个框架，我们表明图语言模型可以获取超出大规模记忆的结构规律，主要是在高频状态下。这得到了以下经验证据的支持：在五个 TU 基准上，LLaMA 风格的图语言模型达到了很高的子图秩相关性，但在大多数情况下，它们的对齐方式与记忆自助采样基线相匹配或超过。在小规模上，在我们的引导诊断下，保真度与逐字回忆在很大程度上无法区分。相比之下，在 375 万张图的大规模情况下，逐字记忆量急剧下降，而排名相关性仍接近上限。至关重要的是，在单独的固定子样本分析中，仅限于仅小说子集的频繁子图挖掘密切跟踪相应的全代 Spearman 相关性，提供证据表明对齐不仅仅由逐字回忆驱动。在所有尺度上，高频模式都得到了很好的再现，而稀有模式仍然没有得到很好的覆盖，并且随着容量的增加，这种赤字仅略有缩小。我们在两个不同的图序列化（规范的 DFS 代码和动作序列）下观察到相同的尺度相关交叉，这为我们的分析提供了稳健性的证据。