LongEval-RAG 的候选约束检索增强生成：系统设计和实证分析

我们为 LongEval-RAG 提出了一个候选约束检索增强生成系统，其中每个查询都与组织者提供的候选集相关联，并且所有检索到的证据和最终引用必须保留在该集中。该系统将确定性来源跟踪与基于段落的检索、确定性查询扩展、伪相关反馈 (PRF)、倒数秩融合 (RRF)、轻量级证据重新排名、引文感知证据聚合和可选的 MiniLM 句子重新排名相结合。我们使用主要组织者评估和补充的自生成诊断协议来评估十种管道变体。初步评估表明，最强的平衡变体是rule-minilm：一个基于规则的分块管道，具有查询扩展、PRF、RRF、重新排名、引用优先和后期 MiniLM 句子选择。该变体在我们提交的内容中获得了最高的 BERTScore、检索精度、信息要点覆盖率和平均等级。结果表明，主要收益并非来自更复杂的语义或主题转移分块，而是来自在生成之前将稳定的基于规则的证据单元与句子级神经选择配对。补充的 LLM 判断评估对于早期诊断和附加分析仍然有用，但它强调与主要标准答案答案和基于信息要点的评估不同的系统，强调了多指标 RAG 评估的必要性。