上下文示例抑制LLM的科学知识召回

科学推理很少止步于可直接观测的内容，它往往需要从数据中揭示隐藏结构。从化学中估计反应常数到经济学中推断需求弹性，这种潜结构恢复正是科学推理区别于曲线拟合之处。大语言模型（LLM）通常能够回忆并应用相关科学公式，但我们表明，这种能力出人意料地容易被抑制。我们发现，加入上下文示例会使模型更少依赖预训练的领域知识，即使这些示例恰恰是由同一公式生成的。示例并未强化知识驱动的推导，而是将计算转向经验性的模式拟合。我们在横跨五个科学领域的60个潜结构恢复任务、6,000次试验和四个模型上记录了这种知识置换现象。这种置换在各领域间是一致的，但其对准确率的影响取决于被置换策略与替换策略的对比：同样的转变可能降低准确率、使其保持不变，或看似有所提升。然而，在所有情况下，模型都偏离了知识驱动的推理。对于在科学任务上部署LLM的从业者而言，这是一个警示：上下文示例可能置换而非强化它们本意要支持的知识。