学习跨域多代理 LLM 协作的可转移拓扑先验

基于 大语言模型 (LLM) 的多智能体系统通过结构化通信协调专门智能体，显示出复杂推理的强大潜力。然而，现有的拓扑演化方法通常从头开始为每个查询构建或优化协作拓扑，从而导致大量的在线搜索开销、高推理时间词元消耗以及多域设置中有限的可扩展性。我们提出了 TopoPrior，一个用于学习跨域多代理 LLM 协作的可转移拓扑先验的框架。 TopoPrior 不是反复在线搜索有效的协作结构，而是从从多个域离线收集的参考协作图中学习可重用的拓扑先验，并使用它们生成查询条件的初始协作图以进行下游细化。通过将部分拓扑搜索从按查询在线优化转移到离线先验学习，TopoPrior 可以分摊搜索成本，同时保持与现有拓扑进化主干的兼容性。从技术上讲，TopoPrior 包含两个关键组件。首先，可转移拓扑先验学习模块采用条件变分图框架来捕获潜在空间中跨域的可重用结构规律。其次，查询条件的潜在适应模块引入了对抗性对齐，以减少不必要的域差异，同时保留与查询相关的结构变化。多域推理基准测试表明，TopoPrior 持续改进了多个异构拓扑进化主干，同时减少了在线推理时间词元的使用，仅需要适度的额外可训练参数。这些结果表明，可转移拓扑初始化是一种有效且轻量级的机制，可提高跨域多智能体 LLM 协作的效率。