当数据库发生故障时：在面向任务的对话中提示LLM对话代理进行安全恢复

当后端数据库调用失败、返回空结果或显示不匹配的信息、发明不基于数据库的场地、确认或预订详细信息时，面向任务的对话中使用的 大语言模型 通常会产生流畅但不安全的响应。我们研究了一种轻量级的基于提示的恢复方法，该方法可以提高鲁棒性，而无需重新训练或额外的模型调用。我们比较了三种响应策略，包括以结构化数据库状态为条件的引导恢复提示，涉及六个开放权重模型系列（DeepSeek-R1、Gemma-2、Llama-3、Mistral、Phi-3 和 Qwen-2.5）和四种数据库条件：空结果、错误域检索、API 错误和干净检索。使用基于两个结构不同的数据集 MultiWOZ 2.2（5 个域）和 SGD（20 个域）构建的故障注入基准，我们发现天真的代理在 MultiWOZ 上 30.5% 的故障开启时产生幻觉，在 SGD 上 20.9% 时产生幻觉。我们的引导重试策略无需重新训练即可将 MultiWOZ 上的幻觉减少 50%（30.5% 至 15.3%），将 SGD 上的幻觉减少 42%（20.9% 至 12.2%）。然而，残余幻觉仍然很严重（模型中的 6-37%），其中错误域失败是最困难的情况。两个数据集和所有六个模型系列的结果都是一致的，人工注释显示出很大的一致性，同时支持自动承诺安全指标的有效性。