检测端到端生成的 TOD 中的不一致

生成式人工智能正在深刻改变对话系统背后的核心技术，从基于组件的方法转向端到端的方法。然而，大语言模型（LLM）仍然可能产生不一致，这是一个关键问题，特别是在面向任务的对话（TOD）中，其中系统响应必须严格遵守来自领域知识库（例如，城市中的餐馆）的信息。单一的幻觉（例如，暗示一家不存在的餐厅）可能会导致严重的任务失败。我们研究了一种通过将 TOD 概念化为约束满足问题（CSP）来自动检测不一致的方法，其中变量表示引用对话域的对话片段，变量之间的约束捕获对话属性，例如转向连贯性和对领域知识的遵守。我们提出了一个管道，首先识别目标对话中的变量，然后应用 CSP 求解器来识别有效的解决方案。通过将目标对话与有效的变量分配进行比较，我们可以检测不一致之处并建议最小的更改以确保对话的一致性。我们展示了基于 CSP 的方法在检测不一致方面的高精度，并对我们的发现进行了详细分析。