MoRSE：结合角色与子任务专家的任务导向多智能体系统

基于 大语言模型 的多智能体系统最近在复杂、长期任务方面表现出了强大的潜力。然而，现有方法主要依赖于粗略的提示级别区分，而没有针对不同子任务的参数自适应，导致代理间异构性不足和专业能力有限，成为复杂要求任务性能的瓶颈。为了解决这个问题，我们引入了一种具有角色子任务专家混合的面向任务的多智能体系统（MoRSE），该系统在任务结构和参数级别上区分具有（角色，子任务）条件专业化的智能体。为了使代理在任务结构级别上的职责明确，我们制定了一个面向任务的多代理系统，该系统将每个任务分解为子任务的依赖感知有向无环图，并为每个代理分配一个特定的（角色，子任务），从而在协作代理之间引入任务级专业化。此外，为了满足不同的角色和子任务参数适应需求，我们提出了一种动态混合（角色、子任务）LoRA 专家模块与基于原型的子任务语义路由器，以经济高效的方式在共享 LLM 基板上增强代理的参数级专业化。然后，为了在稀疏任务奖励下稳定地共同优化专家和路由器，我们进一步提出了一种具有两层信用分配的分层组相关策略优化，将专家更新与路由决策引入的跨路由方差隔离开来，将专家质量与路由质量分开。跨三个主干的代码生成基准实验证明了我们方法的有效性，整个任务和逐步性能都有所提高，并且经过训练的专业化的收益可以推广到所有任务类别和领域。