注释熵预测 LoRA 微调 中每个示例的学习动态

我们发现 LoRA 微调 在有争议的示例上表现出不学习：注释者分歧较高的项目在训练期间显示出不断增加的损失，在完整的 微调 下基本上不存在定性独特的模式，并且在所有测试的所有六个模型（四个编码器，两个仅解码器）中保持一致。这一发现源于关联注释熵，该注释熵是根据 ChaosNLI 每个示例的 100 个标签与 SNLI 和 MNLI 上每个示例的损失曲线下面积 (AULC) 计算得出的。在所有 25 种测试条件下，相关性均为正相关（Spearman $ρ= 0.06$-$0.43$），仅解码器模型在匹配的 LoRA秩下显示出比编码器更强的相关性。该效应在偏相关控制下仍然存在，并在种子和数据集中复制。初步的噪声注入实验与这些发现一致。