激活和参数记忆在少样本学习中的互补作用

在测试时，大型语言模型（LLM）可以在激活内存（即 KV 缓存）和参数内存（即更新的参数）中对历史信息进行编码。虽然激活记忆通常被认为对于事实回忆和参数记忆对于学习新任务有效，但它们的相互作用仍不清楚。在这项工作中，我们通过受控实验系统地研究了记忆在小样本学习中的作用。我们发现激活记忆在回忆事实方面更胜一筹，而参数记忆在任务学习中并不总是优于激活记忆。此外，我们的实验表明，复合任务“条件算术”需要两种记忆类型的协同作用。通过神经元级分析，我们发现该模型在通过激活与参数记忆访问相同的历史信息时会激活不同的神经元组。当两种记忆类型结合时，模型会从两组中招募神经元，这对于解决条件算术至关重要。这些发现表明，单独的记忆机制不足以完成这项复合任务，凸显了它们协作的重要性。