论文
RAGWarrant:质量、成本、延迟与风险约束下的RAG策略上线治理
RAGWarrant: Evidence-Preserving Governance for RAG Policy Promotion Under Quality, Cost, Latency, and Risk Constraints
摘要
检索增强生成系统广泛地配备了指标、基准、跟踪和自动判断,但这些工具并不能决定拟议的策略变更是否可以安全发布。我们提出了 RAGWarrant,一个开源的促销控制框架,它将部署视为受约束的证据决策,而不是排行榜选择。 RAGWarrant 规范评估器输出和操作遥测,应用预先声明的质量和硬风险门,分配证据级索赔上限,保留负面结果,并发出可审计的“促进”、“阻止”、“拒绝”或“不确定”决策。我们评估了 T2-RAGBench、MultiHop-RAG、CRAG、HotpotQA、合成复制和有界局部生成实验的框架。在 HotpotQA 上,由于答案质量超出了声明的利润,运营成本节省被阻止。一项有限的 CRAG 研究选择了一种成本较低的质量持平的策略,但相关的生成收益不稳定,并且留出集护栏按失败关闭原则拒绝通过。我们声称是可审计的提升控制抽象,而不是优化器优越性、人工验证或生产准备情况。标记的工件从新的克隆中复制,作为强化的 Docker 作业运行,接受外部评估器导出,并验证工件的完整性。