论文

BRA-Audit:通过累积暴露审计点放置对 LLM 多代理系统进行预算运行时审计

BRA-Audit: Budgeted Runtime Auditing for LLM Multi-Agent Systems via Cumulative-Exposure Audit-Point Placement

智能体系统Agent 动作执行与治理

摘要

基于 LLM 的多代理系统 (LLM-MAS) 通过专门的协作解决复杂的任务,但代理间的依赖关系可能会将幻觉或恶意输出传播到系统级故障中。审计代理减轻了这些风险,但现有策略面临效率困境:仅最终审计会审查长轨迹和最终输出,可能会削弱审计有效性并扩大回滚范围,而每轮审计每个代理都以高词元成本提高了检测和本地化。如何在最大限度地降低词元成本的同时保持保护性能?为了解决这个问题,我们提出了 BRA-Audit,这是一种预算感知的运行时审计框架,它将 MAS 执行建模为动态依赖图,并将审计调度制定为固定审计调用预算下的审计点放置,以最大限度地减少累积的未经检查的暴露。其贪婪的调度程序会优先考虑有影响力且长期未经审核的区域,而受信任的审核点则可实现本地化恢复。在结构化协调、复杂推理和开放式任务中,BRA-Audit 恢复了接近干净设置的性能,与重度防护方法保持竞争力,并将端到端词元消耗减少了 \(17.2\%\)--\(40.6\%\)。