论文

个性化搜索中 LLM 重新排名的语义和行为信号的稳健融合

Robust Fusion of Semantic and Behavioural Signals for LLM Reranking in Personalised Search

模型训练监督微调与指令调优

摘要

个性化搜索必须满足查询意图,同时结合用户上下文和历史交互。基于 LLM 的交叉编码器提供了单一的重新排名界面,但在其提示中注入预测行为统计数据可以鼓励快捷学习:依赖历史信号,而牺牲语义和用户上下文模式,从而泛化到稀疏或看不见的搜索。我们使用查询切片统计(QSS)在大型音频流平台的个性化搜索系统中研究这个问题,这是一种交互衍生的行为特征,总结了查询候选对的历史成功。当该功能可用时,朴素的 QSS 注入会提高排名,但在删除该功能时会降低稳健性。我们通过确定性双样本特征丢失训练来解决这个问题,它在包含 QSS 的情况下呈现每个示例一次,在删除 QSS 的情况下呈现一次。离线时,QSS 注入可将排名质量提高 13.3%(如果可用)。双样本训练保留了这些增益,同时相对于原始 QSS 训练,在去除 QSS 的评估下将性能提高了 4.0%。在实时在线测试中,两种 QSS 感知变体都将搜索成功率提高了大约 2%。聚合测试不区分双样本和仅特征训练;冷启动比较与离线结果方向一致。因此,配对的特征存在和特征删除训练可以减少利用强大的行为统计数据与在无法使用这些统计数据时保持稳健之间的紧张关系。