NuggetIndex：可维护 RAG 的受控原子检索

检索增强生成（RAG）系统经常通过基于事实的指标进行评估，但标准实现会检索段落或静态命题。当语料库发展并且无法捕获被取代的事实或来源分歧时，评估和检索对象之间的单位不匹配会阻碍维护。我们提出了 NuggetIndex，一种将原子信息单元存储为托管记录（即所谓的块）的检索系统。每条记录都维护着证据、时间有效性间隔和生命周期状态的链接。通过在排名之前过滤无效或已弃用的信息，系统可以防止包含过时的信息。我们使用块化的 MS MARCO 子集、时态维基百科 QA 数据集和多跳 QA 任务来评估该方法。与段落和非托管命题检索基线相比，NuggetIndex 将块记忆提高了 42%，将时间正确性提高了 9 个百分点，而没有在时间过滤基线中观察到记忆崩溃，并将冲突率降低了 55%。紧凑的块格式将生成器输入长度减少了 64%，同时实现了适合基于浏览器和资源受限部署的轻量级索引结构。我们发布了我们的实现、数据集和评估脚本