论文

梦想发现:人工记忆中的跨域重组

Discovery by Dreaming: Cross-Domain Recombination in Artificial Memory

模型训练合成数据

摘要

梦将从未谋面的人、地点和时间拼接在一起。神经科学表明,这种重组不是噪音,而是一种驱动洞察力和创造性发现的功能。这重新构建了记忆巩固:其可衡量的价值在于重新组合尚未同时发生的经历中的知识,而不仅仅是防止遗忘。我们通过隔离重组重放机制并在两个架构上不相关的系统中实现它来直接测试这一点:LoRA 微调 管道 (DREAMS) 和重放结构化知识对象的符号引擎 (SAPIENCE)。两个系统都得出了相同的结论:跨域整合创造价值,而域内演练则不能。象征性手臂以 85.7% 的速度呈现新颖的跨域连接,比基线增加了 21 个百分点 (pp)。神经臂总体提高了 +5.64 pp,但在明确需要跨域传输的子任务上(例如 GSM8K 上看不见的数学推理),增益达到 +14.5 pp。这种效果是权重的真实属性,而不是即时工件,因为在 671B 参数模型的上下文中预先考虑相同的材料实际上会逆转增益。我们根据 50,000 篇真实论文中记录的发现验证了这一预测,并提出了一个可证伪的海马记录预测,以区分重组和排练。最终,这一原则是通用的,大规模跟踪真正的发现。阅读文献可以教会模型回忆它所看到的内容,但产生发现需要一个单独的离线阶段来重新组合跨领域的知识——梦的计算模拟。巩固不是为了记忆,而是为了发现。