论文
Dittany以贡献图追踪已验证结果并分层修复多Agent执行
Dittany: Contribution-Guided Repair Framework for MAS Applications
摘要
基于 LLM 的多代理系统 (MAS) 应用程序可以产生有用的中间结果,同时不满足任务要求。修复此类执行需要确定仍然需要的工作以及可以支持它的已完成结果。我们提出 Dittany,一个用于 MAS 应用程序的贡献引导的运行时修复框架。 Dittany 从任务要求和方法规范中得出预期的贡献和接受条件,并在贡献图中连接它们的依赖关系。运行时检查查找未满足的条件并确定哪些结果仍然可用。当可用输入足够时,这些结果指导行动级别的纠正,或者当先决条件或未完成的工作需要修改时指导图级别的恢复。两个修复范围都会保留经过验证的贡献,并在后续工作使用修复后的输出之前检查它们。我们在 6 个 MAS 框架和 9,000 个任务的 30 个应用程序上评估 Dittany。它以 88.28% 的精确率和 79.18% 的召回率检测运行时故障,并实现了 84.76% 的任务准确率,比原生执行(Native)提高了 26.74 个百分点,比四种恢复基线中最强者提高了 21.28 个百分点。预计部署 token 消耗比 Native 高 17.92%,但比 Reflexion 低 24.19%,比Iterative Rollback低 13.05%。消融结果表明,与单独的图级修复相比,结合两个修复范围可以实现更高的准确性和更低的 token 消耗。
