通过 QLoRA 学习新事实：获取-保留前沿

参数高效的 微调 通常被认为保留预训练的功能，因为它仅更新少量参数。我们表明，这种假设很大程度上取决于适配器容量。我们在受控的 OpenStreetMap 派生基准中研究事实获取，其中 Qwen3-4B 必须获取匿名地理关联，同时保留不相关的功能。将完整的 微调 (FFT) 与排名 8、16、32 和 64 处的量化低秩适应 (QLoRA) 进行比较，我们发现排名会产生清晰的获取-保留边界。低秩 QLoRA 保留了域外 (OOD) 性能，但获取的事实较少，而较高等级则改善了相同事实释义泛化，但在不相关基准上的性能成本却增加了。 FFT 表现为保守的基线：它很好地保留了一般功能，但没有达到最高的事实获取机制。分布、权重空间和光谱诊断反映了这种行为权衡，等级较高的 QLoRA 距离预训练模型更远。一项单独的数学适应实验显示了较弱的边界，这表明当适应必须建立新的事实关联而不是强化预训练已经支持的技能时，效果最为明显。代码和数据可在 https://github.com/zhngstl/new_facts_forgetting 获取。