论文

通过合作-义务耦合审核紧急 LLM-代理协作

Auditing Emergent LLM-Agent Collaboration through Cooperation-Obligation Coupling

智能体系统Agent 动作执行与治理

摘要

LLM-agent系统可以通过动态自组织和紧急合作来解决复杂的任务。审核此过程至关重要,因为合理的中间或最终输出可能会掩盖不完整或不受支持的工作以及分配不善的责任,最终损害响应质量。虽然现有方法可能会记录消息、工具调用、出处或任务依赖性,但存在可审计性差距,因为它们不能共同代表剩余的工作、谁对其负责以及有哪些证据证明每个工作状态转换的合理性。我们通过提出 \emph{综合合作义务表述} (iCORE) 来解决这一可审计性差距。它创建了一个统一的编码 $X=(G,Q,Π)$,将可观察的交互集成为合作图 $G$,将不断发展的工作和分配作为义务图 $Q$,以及将它们与可验证的属性和证据联系起来的审计图 $Π$。这种 iCORE 表示使审核员能够证明两个互补的属性:{工作健全性},其中每个与决策相关的主动工作断言必须通过 $G$ 和 $Π$ 具有有限的理由; {代理分配稳定性},要求没有可行的替代代理可以将评估义务的申报贡献值提高超过 $ε$。我们建立本地到全球的健全性和分配遗憾保证以及规定条件下的绩效限制。 iCORE 是工作流程之上的仪表层。数值结果表明,全耦合状态准确地重建了两种执行模式下的健全性和分配缺陷,并且相对于被动全状态观察,iCORE-Audit 在受控和真实 LLM 执行中分别产生了 $11.5\%$ 和 $26.4\%$ 的绝对轨迹质量改进,相应的绝对终端性能改进为 $15.1\%$ 和 $31.0\%$。