论文

当协作成为触发因素时:多代理系统中的集体证据阈值后门

When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems

模型评测安全与风险评测

摘要

基于 LLM 的多代理系统 (MAS) 通过迭代通信和共享上下文扩展了 LLM 功能。然而,这种合作引入了一个漏洞:当对等证据达到隐藏阈值时,后门行为可以被激活,而不是由任何单个消息确定。我们为 MAS 和边界条件后门注入(BCBI)引入了集体证据阈值后门范式,它构建了反事实边界对,以将阈值之前的良性行为与阈值之后的对抗性目标分开,并学习与证据一致的潜在进展。为了减轻这种威胁,我们提出了 LAtent 转换测试时评估 (LATTE),这是一种仅干净的潜在转换防御,可以学习良性通信动态并在响应传播之前隔离异常代理更新。在多个基准测试中,BCBI 产生选择性激活,几乎不会过早激活;在不知道攻击目标或触发因素的情况下,LATTE 以最小的破坏限制传播。