通过上下文感知机器翻译中基于梯度的归因来扩展注意力头分析

在本文中，我们引入了一种基于梯度的头部归因策略，其中词元级最大保证金损失被反向传播到注意力图。该框架可以对注意力头进行大规模因果分析，使其适合大语言模型。我们在上下文感知机器翻译中的消歧任务中评估了我们的方法，其中我们分析了 4 个模型和 4 个语言方向的 50 种现象。我们凭经验证明了我们的方法与在三个模型和两个语言方向上增加词元到词元关系的注意力分数的效果的一致性，确保了我们方法的稳健性。我们的分析揭示了“通用”注意力头的存在，这些注意力头在关注不同关系时提高了模型的性能。我们发现头部分配给关系的平均注意力并不一定与模型的性能相关，这表明模型在头部功能的训练过程中产生了冗余。