论文

最快检测幻觉发作:延迟界限和学习的 CUSUM 统计

Quickest Detection of Hallucination Onset: Delay Bounds and Learned CUSUM Statistics

模型评测评测方法与指标

摘要

词元级 幻觉探测器被评估为分类器,通过 AUC 对所有词元进行评估,而流式监视器则通过其反应时间来判断:在幻觉出现和警报之间经过的词元数量。我们将幻觉发作检测制定为最快的变化检测问题。潜在忠实/幻觉状态的一阶马尔可夫模型在 RAGTruth 上得到验证,将任务置于经典的变点理论中,并得出洛登的检测延迟下限:大约 1.3 个词元,误报率为 0.01。然后,我们展示了因果循环贴标机充当具有学习增量的 CUSUM。在它捕获的起始点中,它检测到 11-13 个词元,而线性每个词元基线为 31 个词元,尽管在这个误报预算下,每个检测器捕获不到三分之一的起始点,并且召回诚实延迟为 56-66 个词元:低误报起始点检测很困难。受控分解将速度优势主要归因于更好的每个标记得分,而不是时间累积。 Donsker-Varadhan 类型的信息率最优定理解释了剩余的数量级差距:学习得分仅实现了特征所具有的散度的 1/4.5,这是重新校准无法消除的缺陷,其余部分是有限范围效应。分类指标隐藏了这种延迟结构;序贯分析使其可测量。