可微的智能体混合物激励 大语言模型 的群体智能

大语言模型 (LLM) 的最新进展促进了用于复杂推理任务的多智能体系统 (MAS) 的开发。然而，现有的 MAS 通常依赖于预定义或预编译的通信拓扑，这限制了它们对动态任务要求的灵活性和适应性。在这项工作中，我们提出了可微分混合代理（DMoA），这是一种自我进化的多代理框架，可在推理过程中实现弹性和自适应代理协作。 DMoA 不是静态构建工作流程，而是在每个推理步骤动态路由和激活代理，使系统能够隐式模拟不同的通信拓扑并适应不断变化的需求。为了实现这一目标，我们设计了一种可微的、上下文感知的路由机制，该机制利用循环结构来合并历史和上下文信息，以逐步的方式产生稀疏代理激活。此外，我们引入预测熵作为自监督信号来优化路由过程，从而无需外部注释即可实现高效的测试时间适应。跨越 9 个基准的大量实验表明，DMoA 实现了最先进的性能，同时表现出强大的效率、鲁棒性和集成能力。