MMoA：具有记忆混合代理重现功能的 AI-Agent 框架

代理混合 (MoA) 框架已显示出通过聚合多个代理的输出来提高 大语言模型 (LLM) 性能的前景。然而，现有的 MoA 系统通常依赖于静态路由器，而静态路由器不能完全捕获跨聚合层的时间和上下文依赖性。为了解决这个限制，我们提出了 MMoA，这是一种循环 MoA 架构，它将基于 LSTM 的门控集成到代理选择过程中。循环路由器根据当前输入和历史路由决策自适应地调节代理贡献，从而实现更多上下文感知聚合。我们在标准指令跟踪基准测试上评估 MMoA，包括 AlpacaEval 2.0、MT-Bench 和 Arena-Hard。结果表明，MMoA 实现了与传统 MoA 相当的精度，同时通过动态激活更少的代理来减少计算开销。例如，在AlpacaEval 2.0上，MMoA的胜率达到了58.0%，而MoA的胜率为59.8%，同时运行时效率提高了高达4.6%。这些结果表明 MMoA 为自适应多智能体 LLM 系统提供了一种可扩展且高效的方法。