论文
LoRA 微调 期间通过公理注意力模式出现相关性
The Emergence of Relevance Through Axiomatic Attention Patterns During LoRA Fine-Tuning
摘要
LoRA 微调 是使 LLM 适应重新排名的标准，但仍不清楚在网络中的何处学习特定任务的相关行为以及伴随该学习的注意力水平变化。通过消融和注意力实验，我们确定 LoRA 注意力更新到 RankLLaMA 可以在哪些方面提高性能，以及这些收益是否与可解释的面向相关性的注意力模式（例如词汇匹配、稀有敏感性和查询文档交互）相一致。我们发现，考虑到 LoRA 在整个网络中微调了 MLP，将 LoRA 注意力更新限制在紧凑的中间网络区域足以恢复将 LoRA 应用于所有注意力层所获得的性能的一半以上，并且在该区域中省略注意力 微调 对性能的损害比网络中其他地方更大。此外，我们还发现应用 LoRA 对性能影响最大的区域与 微调 增加对公理 IR 特征的关注的区域重叠。稀有度敏感性、文档查询交互以及一些组合特征与排名性能的提升高度相关。我们的结果支持对 LoRA 微调 期间相关性行为如何出现的可解释的相关性解释，并指出了适应重排序器的改进策略。