用于持续生成检索的参数记忆头

生成信息检索 (GenIR) 将检索整合到单个神经模型中，该模型直接从查询中解码文档标识符 (docids)。虽然这种模型即索引范例提供了架构简单性，但它不太适合动态文档集合。与索引可以轻松更新的模块化系统不同，GenIR 的知识以参数方式编码在其权重中；因此，标准的适应方法（例如完整且参数高效的 微调）可能会导致灾难性遗忘。我们表明，顺序适应改进了新添加文档的检索，但大大降低了早期切片的性能，暴露出明显的稳定性-可塑性权衡。为了解决这个问题，我们提出了适应后记忆调整（PAMT），这是一个仅记忆的稳定阶段，它通过模块化参数记忆头（PMH）增强了适应模型。 PAMT 冻结主干并附加具有固定寻址的产品密钥存储器。在前缀特里约束解码期间，解码器隐藏状态稀疏地查询 PMH 以在隐藏空间中产生残差校正；这些修正通过冻结输出嵌入矩阵映射到分数调整，仅在 trie 有效标记上计算。这可以指导 docid 生成，同时保持路由和主干参数固定。为了限制跨片干扰，PAMT 仅更新使用解码时间访问统计数据选择的固定预算内存值，优先考虑由当前片频繁激活且在先前会话中很少使用的条目。在顺序、不相交的语料库增量下对 MS MARCO 和 Natural Questions 进行的实验表明，PAMT 显着提高了早期切片的保留率，对新添加文档的检索性能影响最小，同时仅修改每个会话的内存值的稀疏子集。