多跳知识组合受预训练暴露的约束

大语言模型 隐式多跳推理失败：模型回答“$X$ 何时诞生？”和“谁是$Y$最亲密的朋友？”正确，但在“$Y$ 最亲密的朋友何时出生？”上失败。即使这两个事实都被完美地记住并且可以单独检索，也可以在一次向前传递中实现。我们在受控的自然语言环境中研究这种失败，在预训练期间暴露于构图环境的个体与从未出现在任何此类环境中的个体之间严格分开。我们确认，即使在 97% 的 1 跳准确率下，组合失败仍然存在，将差距确定为预训练失败而不是知识缺失。我们提出并测试了九种以数据为中心的增强格式，并发现组合预训练会转移到暴露个体的未见过的问题，但永远不会转移到组合预训练中缺席的个人，这表明在预训练期间暴露于组合上下文是隐式多跳推理的必要条件。代码可在 https://github.com/ykrmm/composition-bound 获取。