幻觉盆地：理解和控制幻觉的动态框架 LLM 幻觉

大语言模型 (LLM) 产生幻觉：它们产生实际上不正确的流畅输出。我们提出了一个几何动力系统框架，其中幻觉是由潜在空间中任务相关的盆地结构产生的。使用跨多个开源模型和基准的自回归隐藏状态轨迹，我们发现可分离性强烈依赖于任务而不是普遍的：事实设置可以显示更清晰的盆地分离，而总结和误解重的设置通常不太稳定并且经常重叠。我们用任务复杂性和多盆地定理形式化了这种行为，描述了 L 层 Transformer 中盆地的出现，并表明几何感知转向可以在无需重新训练的情况下降低幻觉概率。