适配器可以写入多少位？参数高效微调的容量和记忆测量

LoRA 适配器只有几兆字节，几乎每个人都将其视为一项技能，而不是其背后的数据记录。我们把这个假设放在一个尺度上。将基于压缩的记忆分析扩展到冻结基础设置，我们直接以位为单位测量低秩适配器向其从不改变的模型中写入的量。答案既小于完整的 微调，又不如参数计数预测的合法性。适配器为每个可训练参数存储几个位，远远低于完整模型的预算，但这个数字更多地取决于适配器携带的参数数量，而不是它们所在的位置。将相同的参数预算从注意力转移到 MLP 中，它的容量几乎是原来的两倍；剥去冰冻底座的结构，其容量几乎消失。应用于 Qwen2.5 的实际微调时，同一工具显示隐私泄漏随着适配器写入的位数而不是其名义上的参数而增加，并且它在监督学习和强化学习之间划出了一条清晰的界限：监督 微调 逐字复制的秘密，经过可验证奖励训练的适配器从未记录。衡量 微调 所写的内容，而不是事后对其进行攻击，可以将一段民间传说变成一个可以设计的数量。