提高 LLM 知识蒸馏 对话式搜索的效率和有效性

会话搜索（CS）考虑基于会话上下文检索相关文档。 大语言模型 (LLM) 通过实现有效的查询重写显着增强了 CS。然而，在推理过程中使用 LLM 会带来效率挑战。平衡有效性和效率的方法是使用基于 LLM 的查询重写中的 知识蒸馏。最近的工作将 Kullback-Leibler 散度 (KLD) 应用到 蒸馏，与以前的方法相比，放宽了与教师信号的对齐。尽管取得了这些进展，但用于会话搜索的基于 KLD 的 蒸馏 的几个方面仍然没有得到充分研究，我们在这项工作中对它们进行了研究。相关领域的先前工作表明，在 KLD 目标中添加对比损失可以提高性能；我们证实了这一点，并观察到以精度为导向的排名指标取得了显着的进步。我们还发现 KLD 损失的对比采样策略具有不小的影响，必须谨慎选择。尽管理论表明更多样本可以改善 KLD 估计，但实验表明使用样本数量的回报递减。最后，我们解决了较长对话中稀疏性降低的现象，这限制了稀疏检索方法的计算效率。我们发现，用 KLD 损失提取的模型的表示可以通过正则化损失进行强正则化，从而显着提高稀疏性和推理效率，而不会显着损害检索效果。我们在 TopiOCQA 上实现了 $2\times$ 的 FLOPS 降低，而有效性损失可以忽略不计，对应于 Recall@100 中 $\leq 2%$ 的下降。我们的结果提供了对学习稀疏会话 检索器 的 蒸馏 目标的见解，并为提高第一阶段检索的有效性和效率提供了实用指南。