面向知识锚定工具使用工作流中AI智能体的声明式技能

我们研究在非结构化知识库的实际客户服务工作流程中使用工具的人工智能代理的编排机制。我们认为声明性代理——配备有附加到系统提示的自然语言技能文件的人工智能代理——是一种有效的编排范例。具体来说，我们比较了（i）在推理时读取三个特定领域技能文件并决定其自己的控制流的声明性代理（DeclarativeAgent），（ii）基于具有显式阶段的编程状态机的命令性代理（ImperativeAgent），以及（iii）在 $τ$-Knowledge 基准代理之后建模的无支架基线代理。我们的命令代理是由递归语言模型和基于图形的编排框架中的外部控制推理驱动的。我们将这三个代理形式化为分散的部分可观察马尔可夫决策过程中的策略类，并分析它们的信息论和结构特性；然后，我们在五种语言模型和两种检索机制上凭经验测试预测的差异。我们的结果表明，检索质量是人工智能代理的主要瓶颈：当证据不完整或倾斜时，所有代理都会大幅降级，并且技能文件无法恢复损失的性能。然而，在高质量检索下，声明性技能不断提高程序任务的准确性并减少编排错误，而命令式状态机的脆弱性并不能可靠地提高任务的成功或合规性。