FAMA：交互式工具使用环境中开源 LLM 的故障感知元代理框架

大语言模型 越来越多地被部署为能够影响外部环境变化的自主代理的决策核心。然而，在模拟现实世界中以客户为中心的问题解决场景的会话基准测试中，这些代理经常由于错误决策的连锁效应而失败。对于具有较小参数大小、有限上下文窗口和受限推理预算的开源 LLM 来说，这些挑战尤其明显，这会导致代理设置中的错误累积增加。为了应对这些挑战，我们提出了故障感知元代理（FAMA）框架。 FAMA 分两个阶段运行：首先，它分析基线代理的故障轨迹，以识别最常见的错误；其次，它采用一种编排机制，通过在决策步骤之前为工具使用代理注入目标上下文，激活专门代理的最小子集，以解决这些故障。开源 LLM 的实验表明，与标准基线相比，各种评估模式的性能提升高达 27%。这些结果强调，通过专门代理对上下文进行有针对性的管理来解决常见故障，对于构建可靠的、多轮工具使用的 LLM 代理（模拟真实世界的对话场景）来说是一个有价值的设计原则。