论文
通过归因镜头对法律质量检查中的引文质量进行重新排名
Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA
摘要
用于法律问答的检索增强生成系统通常根据语义相似性检索段落并将其提供给语言模型,然后由语言模型生成引用的答案。先前的工作假设排名靠前的段落最有可能被模型有效地引用。基于扰动的归因方法,例如 C-LIME,专门用于事后解释。然而,在 AQuAECHR 基准上,语义相似性与段落归因无关。在 检索器 的候选池中,在出现参考引文段落时,基于相似性的排名比随机选择的表现更差。为了解决这个限制,轻量级交叉编码器在基于连续扰动的归因分数上进行训练,以在生成之前对段落进行重新排序。该方法使用两种语言模型和五重交叉验证在 AQuAECHR 基准上进行评估。重新排名器大大提高了引用 忠实性 并与黄金专家答案的一致性。值得注意的是,两个在不同模型上独立训练的重新排名者的收敛程度超出了他们的原始归因协议。这一发现表明,交叉编码器减少了模型特定的噪声,并产生了部分跨模型传输的共享相关信号,尽管相同模型的重新排序仍然更有效。这些结果表明,基于扰动的归因为引文感知检索提供了实用的、与模型无关的训练信号。