FloCA：迈向忠实且逻辑一致的流程图推理

摘要

面向流程图的对话（FOD）系统旨在通过遵循领域特定流程图，引导用户完成多轮决策或操作流程以达成任务目标。在本工作中，我们将 FOD 中的流程图推理形式化为：在每一对话轮次将用户输入接地到流程图节点，同时确保节点转换与正确的流程图路径一致。尽管 LLM 近期在任务导向对话系统中取得进展，将其适配到 FOD 仍面临两个局限：（1）LLM 缺乏表示并推理流程图拓扑的显式机制；（2）它们容易产生幻觉，导致不忠实的流程图推理。为解决这些局限，我们提出 FloCA，一个零样本的面向流程图对话智能体。FloCA 使用 LLM 进行意图理解和回复生成，同时将流程图推理委托给执行拓扑约束图执行的外部工具，确保跨对话轮次的节点转换忠实且逻辑一致。我们进一步提出一个评估框架，包含基于 LLM 的用户模拟器和五个覆盖推理准确率与交互效率的新指标。在 FLODIAL 和 PFDial 数据集上的大量实验凸显了现有基于 LLM 方法的瓶颈，并展示了 FloCA 的优越性。我们的代码发布于 https://github.com/Jinzi-Zou/FloCA-flowchart-reasoning。

FloCA：迈向忠实且逻辑一致的流程图推理 — 图2：FloCA 概览。FloCA 由两个核心组件构成：一个指令遵循 LLM 和一个忠实的流程图推理工具。左图展示了故障排查中的一个示例对话，其中每个智能体输出对应于特定流程图节点的流程图推理结果。右图描绘了整个多轮推理过程，用颜色表示图函数和 LLM 推理过程，展示了每一步的输入与输出以及推理是如何进行的。