多Agent系统在哪里失败？集体机制的循证诊断

当多Agent系统正确回答时，很容易得出这样的结论：其Agent按预期共享、检查和使用信息。然而，一个系统可以打破其集体机制之一，即管理Agent如何路由、承认、存储和对共享信息采取行动的规则，并且仍然返回正确的答案，而错误的答案很少会揭示哪个机制失败了。我们询问执行中的哪些证据足以得出违反特定机制的结论。我们的答案是一份诊断合同，它将什么算作违规与执行记录可以确定的违规分开，并得出违规行为得到支持、排除或未知的结论；删除记录可以使这个结论变得未知，但永远不会扭转它。我们通过从机制起作用的步骤重放执行来测试四种机制的合约，一次是不变的，一次是机制损坏的，一次是恢复的。损坏的机制常常会导致答案正确。大语言模型诊断员从内部记录中检测到的违规行为比从公共输出中检测到的违规行为要多得多，但对于相同的记录，通用提示经常声称记录不支持确定性，这提示说明合同基本上被避免了。这些合约还以狭义的形式应用于独立开发系统中的机制，但在我们的基准上近乎完美的诊断行为在独立开发的工作流程中却退化了。因此，正确的结果不能替代集体机制如何运作的记录，并且就一个基准达成一致并不表明诊断人员转移到另一个系统。