论文

用于指令跟踪信息检索的双视图训练

Dual-View Training for Instruction-Following Information Retrieval

模型训练合成数据

摘要

指令跟踪信息检索 (IF-IR) 研究的检索系统不仅必须查找与查询相关的文档,而且还必须遵守明确的用户约束,例如所需的属性、排除或输出首选项。然而,大多数 检索器 主要针对语义相关性进行训练,并且通常无法区分与主题匹配的文档和满足指令的文档。我们提出了一种基于极性反转的双视图数据合成策略:给定一个查询、一个在指令下相关的文档以及一个与查询匹配但违反指令的硬否定,我们提示 LLM 生成一个互补指令,在该指令下两个文档交换相关标签。通过在反转相关标签的互补指令下呈现相同的文档对,训练信号迫使 检索器 通过指令重新考虑相同的候选集,而不是依赖固定的主题线索。在 305M 参数编码器上,我们的方法将 FollowIR 基准测试的性能提高了 45%,超过了可比或更大规模的通用嵌入模型。通过匹配数据预算的头对头比较,我们进一步表明数据多样性和指令监督发挥着互补作用:前者保持一般检索质量,而后者提高指令敏感性。这些结果凸显了有针对性的数据合成对于构建具有广泛功能和指令感知能力的检索系统的价值。