论文
CHSR-RRF:一种课程门控混合检索框架,具有教育 RAG 的互惠排名融合和泄漏感知基准测试
CHSR-RRF: A curriculum-gated hybrid retrieval framework with reciprocal rank fusion and leakage-aware benchmarking for educational RAG
摘要
检索增强生成 (RAG) 越来越多地用于教育问答,但标准 检索器 优化了主题相关性,但没有强制课程有效性。在学校环境中,如果一段文章来自错误的科目、级别或考试背景,则它可能相关但不合适;我们将这种失败模式称为课程泄漏。我们提出了 CHSR-RRF,一种课程门控的混合检索框架,该框架在检索之前应用元数据约束,然后将稀疏和密集搜索与相互排名融合和确定性重排名相结合。我们还引入了 CERB,这是一个用于课程约束检索的 126 个案例基准,具有层次结构感知的相关标签和显式泄漏注释。在 61 个案例试点中,预检索门控将泄漏减少了 4.6 倍 ($p<0.001$),同时保留了排名召回率,而在检索后应用相同的约束将召回率和精确范围成功率降至零 ($p=0.039$)。全基准下限分析进一步表明,许多剩余的失败源于语料库和元数据的差距,而不仅仅是检索设计。这些结果表明,结构化教育领域中的检索应被视为受限选择,在形成候选池时而不是在排名后加强有效性。