论文
DEPT:统一查询扩展和检索的文档嵌入保存调优
DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval
摘要
大语言模型 (LLM) 既可以扩展未指定的查询,也可以将文本编码为密集表示,这为查询扩展和检索提出了统一的模型。现有系统通常依赖于提示扩展、独立训练的模块或分阶段优化,使得生成的扩展仅间接与判断它们的检索损失保持一致。我们端到端地训练单个解码器 LLM,其中相同的模型生成扩展并对扩展的查询和候选文档进行编码。这种统一的设置产生了一个移动目标问题:检索监督应该改善查询端扩展,但相同的更新也会改变作为检索目标的文档嵌入。我们引入了文档嵌入保存调整(DEPT),它使调整后的文档嵌入接近缓存的初始嵌入,同时允许检索梯度通过直通解码传递到生成器中。 DEPT 将联合查询-文档移动转换为查询端适应,以支持索引重用和在线硬负挖掘的近似稳定、白化的文档嵌入。使用 Qwen3-4B-Instruct-2507 和 LLaMA-3.2-3B-Instruct 在 BEIR 基准测试中的五个数据集上进行的实验表明,DEPT 比 无需训练、独立训练和分阶段统一基线提高了平均检索质量,而消融则隔离了保存、白化、端到端扩展训练和在线负片的影响。代码可在 https://github.com/ILSparkle/DEPT 获取。