论文
DaV-Gen:通过草稿和验证进行端到端生成检索
DaV-Gen: End-to-End Generative Retrieval via Draft-and-Verify
摘要
主流工业信息检索系统(例如搜索和推荐)通常建立在多级级联架构(MCA)之上,通过从粗到细的“检索排名”管道来平衡有效性和效率。然而,不同阶段的优化目标基本上不一致,传播甚至放大了早期错误,最终降低了最终结果的质量。虽然新兴的端到端生成模型通过统一管道提供了潜在的解决方案,但它们的在线服务性能受到从标准解码器结构继承的自回归过程的严重阻碍。为了弥补这一差距,我们引入了 \textbf{DaV-Gen},这是一种新颖的统一解决方案,旨在通过“草稿和验证”机制从根本上重构搜索和推荐的范例。受 推测解码 使用的流程的启发,我们的框架将生成任务重新设计为单个模型中的两个协同操作。在训练期间,模型同时针对候选起草和细粒度验证进行优化。这是通过复合损失函数来实现的,该函数在两个不同但相关的目标上联合训练模型:1)对比损失,构建嵌入空间以实现高效绘图;2)融合损失,将生成似然与向量相似性相结合以产生优异的验证分数。这种综合训练策略使模型具有双重能力。在推理时,它首先执行高效的基于向量的绘图来生成候选集,然后使用更强大的融合评分函数验证这些候选集,从而在统一的端到端架构中实现稀疏绘图的速度和高级生成模型的精度。