扩散语言模型的自增强检索

离散扩散语言模型通过并行迭代地对整个响应进行去噪来生成文本。在每一步中，他们都会预测每个屏蔽位置的暂定标记，将置信的预测提交到输出并丢弃不置信的预测。我们表明，丢弃的标记实际上是检索增强生成的有用前瞻信号：即使是低置信度标记也经常在去噪轨迹的早期出现显着实体，从而能够在输出最终确定之前检索更强的证据。我们通过扩散语言模型的自增强检索 (SARDI) 来利用这一点，SARDI 是一个动态 RAG 框架，它使用这些前瞻标记来指导去噪期间的检索。 SARDI 与 无需训练、检索器 无关，适用于任何具有推理能力的离散扩散语言模型。在五个多跳 QA 基准测试中，SARDI 的吞吐量优于当前的 无需训练 扩散和自回归检索基线，吞吐量提高了 8 倍。