文本联合：多智能体推理的见解共享

现代代理专注于不同的领域，但没有明确的方法来结合不同的领域技能。我们提出了一种类似联邦学习的框架，即联邦文本（FoT），它使解决不同任务的多个客户端能够通过迭代联合其本地推理过程而不共享实际问题实例来共同生成元认知见解的共享库。 FoT 不是在梯度上进行联合（例如，在分布式训练中），而是在语义级别上运行，无需任何梯度优化或监督信号。在每一轮中，客户端 LLM 代理独立地将任意本地推理和自我改进程序应用于自己的任务，并与中央服务器共享生成的推理轨迹。然后，服务器将跨任务和领域的知识聚合、提炼和整合到一个共享的洞察库中，当前和未来的代理可以重用该库来改进他们的推理。实验表明，FoT 提高了现实世界日常任务、跨领域协作和研究洞察发现的推理有效性和效率，实现了 11.9 个绝对百分点的平均性能增益，同时将客户端生成的任务完成词元减少了 5.5%。