论文

RECTIFY:用于评估后 RAG 诊断、修复和验证的交互式工作台

RECTIFY: An Interactive Workbench for Post-Evaluation RAG Diagnosis, Repair, and Verification

AI 基础设施可观测性

摘要

检索增强生成(RAG)评估器可以识别诸如检索弱、基础差、答案不完整和不受支持的生成等故障,但它们很少帮助开发人员决定下一步要修复什么。我们推出了 RECTIFY,这是一个交互式 Streamlit 工作台,可将评估的 RAG 案例转变为可审核的修复工作流程。 RECIFY 过滤不需要修复的案例,将剩余故障路由到可操作的系列和细粒度的修复切片中,并生成可编辑的修复卡,开发人员可以通过沙箱重新运行批准、拒绝或验证这些卡。在受控 RAG 基准上,RECTIFY 展示了跨 BM25、密集和混合检索的可解释故障概况:BM25 主要触发噪声检索修复,而密集和混合检索留下了较小的多部分检索不足和未充分利用的证据案例集。其他分析表明,预过滤减少了不必要的修复候选,并且切片级路由比广泛的系列级诊断产生更有针对性的修复卡。 RECTIFY 作为开源 Streamlit 工作台 1 公开提供,用于帮助开发人员将评估结果转化为可检查的修复决策。