BERT交叉编码器相关性机制：追踪查询与文档间的信息流

交叉编码器是信息检索中最有效但也是效率最低的模型。尽管它们取得了成功，但其相关性预测背后的机制仍然知之甚少，特别是它们如何处理以匹配查询和文档。这种可解释性的缺乏限制了它们的优化，可能导致次优检索，尤其是域外检索，并引起过度参数化模型的效率问题。为了应对这些挑战，本文研究了交叉编码器行为的两个尚未充分探索的方面。首先，为了理解相关性预测过程，我们跟踪过程不同阶段以及不同输入段之间的信息流。我们研究构成这一信息流、并使交叉编码器能够预测段落与查询相关性的信号性质。我们的工作特别关注交叉编码器在查询和文档之间执行的匹配。其次，我们探讨交叉编码器如何处理域外文档和/或查询。通过一系列可解释性实验，我们在域内和域外数据集上评估了三种基于 BERT 的交叉编码器模型，它们的大小和预训练策略各不相同。总的来说，这项研究既巩固了关于交叉编码器如何建模相关性的已知知识，又通过探索匹配信号的作用来扩展它。