学事实不等于学如何检索它

以"X的首都是Y"训练的模型可能在"X的首都是"之后产生"Y"，却在"X的首都："之后失败。我们把这些引出同一事实的不同方式称为请求形式。为分离学习事实与检索它，我们分两阶段训练两个模型：第一阶段（请求形式训练）一个模型以五种形式看每个事实，另一个只以陈述句看相同事实；第二阶段（目标事实训练）两者接受相同的新事实训练（全部为陈述句）。之后两者从陈述句几乎同样好地检索新事实，但在其他请求形式上 sharply 分歧。因此模型可以在学习事实之前通过请求形式学会如何检索。为理解这一差异，我们考察答案前的隐状态（称为上下文状态）：同一事实的两种不同请求形式下，第一阶段以五形式训练的模型比仅陈述句训练的模型产生更相似的上下文状态；在检索时改变这一状态可以促成或阻止对已学事实的检索，且同一效应跨事实与事实关系（如首都与货币）迁移。为检验其在学习中的作用，我们仅在目标事实训练期间改变上下文状态——该干预改变日后检索而测试时无干预。结果共同表明：日后检索依赖早期的请求形式经验与事实学习期间的上下文状态。