事实的未来：追踪事实生成验证差距

语言模型正在成为事实知识的默认接口，但它们通常比生成输出更可靠地验证输出。这种代际验证差距（GV-gap）是自我完善和推理方面最新进展的基础，但其对事实知识的动态仍然知之甚少。我们专注于实际 GV 差距背后的训练机制，将其与计算和美学对应物区分开来。我们通过四个开源模型系列的三个训练阶段（获取、持续学习和更新）来跟踪生成和验证能力，每个阶段有两个规模。模型中重复出现了三个发现：(i) 在生成之前一致地学习验证； (ii) 验证比生成更适合持续学习； (iii)事实更新可以使模型处于“多宇宙”状态，同时验证旧答案和新答案是否正确。前沿模型的自然实验大规模地再现了这些动态，并揭示了对充分覆盖的事实的残余验证偏差。