论文

生成式检索中协同语义ID过时问题的轻量更新

Mitigating Collaborative Semantic ID Staleness in Generative Retrieval

上下文与知识知识获取与更新

摘要

使用语义 ID (SID) 的生成检索为每个项目分配一个离散标识符,并将检索视为序列生成问题而不是最近邻搜索。虽然纯内容 SID 很稳定,但它们没有考虑用户-项目交互模式,因此最近的系统构建了利用交互信息构建的SID。然而,随着交互模式随着时间的推移而变化,这些标识符变得陈旧,即它们的协作语义不再与最近的日志匹配。先前的工作通常假设 微调 期间有固定的 SID 词汇表,或者将 SID 刷新视为需要重新训练的完整重建。然而,时间漂移下的 SID 过时性很少被明确分析。为了弥补这一差距,我们在严格的时间顺序评估下研究了 SID 过时性,并提出了一种轻量级、与模型无关的 SID 对齐更新。鉴于从最近的日志中派生的刷新的 SID,我们将它们与现有的 SID 词汇表对齐,以便 检索器 检查点保持兼容,从而无需完整的重建和重新训练管道即可实现标准热启动 微调。在三个公共基准测试中,我们的更新在较大的检索截断值条件下持续改进了 Recall@K 和 nDCG@K ,与使用过时 SID 的朴素 微调 相比,并且与完全重新训练相比,将 检索器 训练计算量减少了大约 8-9 倍。