了解和减轻使用工具时的幻觉逃逸LLM智能体

大语言模型 (LLM) 越来越多地充当调用外部工具的自主智能体。然而，此功能会引入工具幻觉，选择不正确的工具或生成无效的调用。现有的缓解方法报告了重大改进，但我们发现了一种以前被忽视的故障模式，我们称之为幻觉逃逸。这些方法减少了对其所调谐的工具配置的幻觉，但在其他配置上增加了幻觉，从而抵消了增益。我们进一步研究了这种现象，发现当模型的内在工具使用倾向与当前的工具配置发生冲突时，幻觉会急剧上升，而现有的方法会强化而不是抑制这些倾向，这反过来又有助于幻觉的逃避。基于这些发现，我们提出了 EscapeGuard，一种无需训练推理时方法，它将冲突感知门控与配置衍生的注意力增强相结合，以减轻工具幻觉，同时防止幻觉逃逸。在各种模型的六个基准测试中，EscapeGuard 将工具选择幻觉减少了 9.0 pp，并抑制幻觉逃逸，将交叉配置平均值降低了 23.7 pp，并在配对查询评估中实现了 89.1% 的净改进。我们希望这项工作能够鼓励超越单一工具配置的评估，并为更可靠的工具使用LLM智能体铺平道路。