论文

ResMAS:基于 LLM 的多智能体系统韧性优化

ResMAS: Resilience Optimization in LLM-based Multi-agent Systems

智能体系统模型训练强化学习Agent 协作Agentic RL

摘要

基于大语言模型的多智能体系统(LLM-based MAS)由多个 LLM 智能体协作解决复杂任务,已在众多领域展现出令人瞩目的性能。然而,MAS 通常分布在不同的设备或环境中,使其容易受到智能体失效等扰动的影响。已有工作虽然研究了对抗攻击及相应的防御策略,但主要聚焦于攻击发生后被动地检测与缓解,而非主动设计天生具有韧性的系统。在本工作中,我们研究 LLM-based MAS 在扰动下的韧性,发现通信拓扑和提示设计都显著影响系统韧性。受这些发现启发,我们提出 ResMAS:一个增强 MAS 韧性的两阶段框架。首先,我们训练一个奖励模型来预测 MAS 的韧性,并据此通过强化学习训练一个拓扑生成器,为特定任务自动设计韧性拓扑。其次,我们提出一种拓扑感知的提示优化方法,根据每个智能体与其他智能体的连接和交互来精炼其提示。跨一系列任务的大量实验表明,我们的方法在各种约束下显著提升了 MAS 韧性。此外,我们的框架对新任务和新模型展现出很强的泛化能力,凸显了其构建韧性 MAS 的潜力。

ResMAS:基于 LLM 的多智能体系统韧性优化 配图
图 3:ResMAS 中的拓扑优化框架。