保形代理错误归因

当多代理系统 (MAS) 发生故障时，确定发生决定性错误的位置是自动恢复到早期状态的第一步。由于基于 大语言模型 的 MAS 生成的长交互轨迹，错误归因仍然是一个基本挑战。本文提出了一个基于保形预测（CP）的错误归因框架，它提供了有限样本、无分布的覆盖保证。我们引入了基于过滤的 CP 的新算法，专为序列数据（例如代理轨迹）而设计。与现有的 CP 算法不同，我们的方法预测连续序列的集合，以实现高效的恢复和调试。我们在各种代理和数据集上验证了我们的理论保证，表明可以精确隔离错误，然后使用预测集回滚 MAS 以纠正其自身错误。我们的整体方法与模型无关，并为 MAS 错误归因提供原则上的不确定性层。我们在 https://github.com/layer6ai-labs/conformal-agent-error-attribution 发布代码。