ImplicitHop比较语言模型从上下文与参数知识中组合多跳信息

整合新信息并推断其结果的能力是大型语言模型 (LLMs) 中学习、理解和推理的核心。无论信息是在训练过程中还是在上下文中到达，模型不仅必须存储局部事实，而且还必须将其多步推论传播到整体知识中。为了探索 LLMs 中的信息整合，我们引入了两个互补的自然语言基准，用于大规模评估演绎推理作为推理深度的函数。第一个是形式化图基准，可以对各种图拓扑和集成任务进行受控评估；第二个是基于现实世界知识图谱的知识组合基准。我们使用这些基准来比较预训练期间上下文中编码的信息与模型权重中编码的信息的知识集成，隐式评估一组开放模型，无需思维链。我们发现，对于预训练知识和上下文知识，随着推理组合链长度的增加，准确性急剧下降。然而，在上下文中呈现的信息远远优于对权重编码信息的推论。这些结果量化了当前模型的基本局限性，对基于提示的Agent行为控制和持续学习策略有直接影响，并且它们为开发支持更深层次推理的训练、提示和集成方法提供了基础。