论文
从平淡的事实到尖锐的幻觉：通过梯度灵敏度检测顽固错误
From Flat Facts to Sharp Hallucinations: Detecting Stubborn Errors via Gradient Sensitivity
摘要
传统的幻觉检测在“顽固幻觉”上失败 - LLM 确信错误的错误。我们提出了一种几何解决方案：嵌入扰动梯度灵敏度（EPGS）。我们假设，虽然强有力的事实存在于平坦的最小值中，但顽固的幻觉位于尖锐的最小值中，并由脆弱的记忆支持。 EPGS 通过用高斯噪声扰乱输入嵌入并测量由此产生的梯度幅度尖峰来检测这种锐度。这可以作为 Hessian 谱的有效代理，区分稳定的知识和不稳定的记忆。我们的实验表明，EPGS 显着优于基于熵和基于表示的基线，为检测高置信度事实错误提供了强大的信号。