局部内在维度揭示了扩散模型中的幻觉

扩散模型很容易产生结构幻觉——样本与训练数据的统计特性相匹配，但却违反了潜在的结构规则，导致出现异常现象，比如手有超过五个手指。最近的研究从多个角度研究了这种失效模式，对其发生提供了部分解释，例如模式插值。在这项工作中，我们提出了一种补充观点，将幻觉视为模型引起的流形上的不稳定性。我们首先证明基于这种不稳定性的幻觉过滤器与最近提出的时间过滤器的性能相匹配或超过。通过追踪这些不稳定性的根源，我们将局部内在维度（LID）确定为它们的主要驱动因素，并提出内在淬灭（IQ），这是一种直接纠正机制，可以缩小它以减轻幻觉。 IQ 在各种基准测试中始终优于标准幻觉减少基线，并为增强下游医学成像任务中的解剖一致性提供了一个非常有前途的解决方案。