论文

经过认证的自适应刷新:联邦共形 RAG 的随时有效监控

Certified Adaptive Refresh: Anytime-Valid Monitoring for Federated Conformal RAG

模型评测鲁棒性、公平性与可信度评测

摘要

问答服务建立在检索增强生成(RAG)的基础上,其中语言模型根据检索到的文档进行回答,不断地进行检查并反复升级,因此它们的可靠性保证必须同时满足这两种要求。我们研究联邦共形 RAG:持有私有语料库的节点使用共享语言模型对候选答案进行评分,并将压缩分数发送到返回答案集的中心;错过就忽略了真正的答案。我们将监控制定为顺序测试:当遗漏超过遗漏率(限额)的认证界限时发出警报。但共形证书涵盖了一种预先确定的冻结配置,因此它不会发出任何时间有效的警报;针对某一型号校准的阈值并不能证明其替代品;在完全错误级别重新验证每次升级都会导致失败。我们提出了具有三个可审核规则的 Anytime-FC-RAG:在新校准之前选择每个配置,将每个证书尝试收取一个轨迹范围预算 $δ_{\rm cal}$,并在每次查询之前修复阈值、津贴和赌注。一项投注财富 $E_t$ 仅当失误超过限额时预期才会增长,并且不会在部署过程中重置。我们经过认证的自适应刷新定理表明,在证据预算 $δ_e$ 的情况下,当 $E_t$ 达到 $1/δ_e$ 时发出警报,在随机数量的历史选择、证据驱动的模型、检索器、语料库、分数或阈值刷新下,误报概率最多为 $δ_e + δ_{\rm cal}$; $δ_{\rm cal}$ 为错误的证书付费。有了精确的顺序统计证书,界限是无分布的、与体系结构无关的,并且与未命中有关,而不是每个输入的覆盖范围或分布偏移本身。在 Qwen2.5/MMLU-Pro 上,警报以 5% 的预算将经过审计的有害变化与良性变化完全分开;在模型交换中,只有新的校准才能控制降级的失误率。