从内部检索：基于注意力的模型的内在能力

检索增强生成（RAG）通常将检索和生成视为独立的系统。我们询问基于注意力的编码器-解码器是否可以直接从其自己的内部表示中检索。我们引入了 INTRA（INTrinsic Retrieval via Attention），这是一个框架，解码器注意查询对预编码的证据块进行评分，然后直接将其重新用作生成的上下文。通过构建，INTRA 统一了检索和生成，消除了 RAG 管道中典型的 检索器 生成器不匹配问题。该设计还通过跨查询重用预先计算的编码器状态来分摊上下文编码。在问答基准上，INTRA 在证据回忆和端到端答案质量方面均优于强大的工程检索管道。我们的结果表明，基于注意力的模型已经拥有可以引发的检索机制，而不是作为外部模块添加。