论文

NeuroMAS:将多代理系统视为神经网络并进行联合强化学习

NeuroMAS: Multi-Agent Systems as Neural Networks with Joint Reinforcement Learning

智能体系统模型训练强化学习Agent 协作Agentic RL

摘要

多代理语言系统通常构建为手工设计的工作流:代理被指派语义角色,通信协议预先指定。我们提出NeuroMAS,该方法首先把多代理语言系统视为可训练、可扩展的类神经网络架构,其中LLM代理是节点,中间文本信号是边。在NeuroMAS中,代理节点无角色但具结构感知:拓扑只大致决定信息如何流动,而强化学习训练决定节点如何通信、分工与协调。这一表述将多代理设计从工作流工程转向架构设计,深度、宽度、连接性和生长协议成为可扩展的能力来源。此外,我们提供理论视角,说明当任务可层级分解时,这类模块化文本计算为何更具参数效率。实验显示,NeuroMAS显著优于推理时与经训练的多代理基线。我们进一步发现组织化扩展具有路径依赖性:更大的系统从零开始训练可能困难,但从较小的已训练系统渐进生长则变得可行。这些结果表明,习得的神经多代理系统是LLM一条有前景的扩展轴。

NeuroMAS:将多代理系统视为神经网络并进行联合强化学习:论文配图
图 1:(a) NeuroMAS 方法概述。 (b) LLM 多智能体系统的概念图景。水平轴代表冻结与可训练的代理内参数,垂直轴代表固定与可扩展和/或灵活的代理间拓扑。头寸是说明性的而非定量的。