当云代理遇到设备代理：混合多代理系统的经验教训

智能体AI推理的设计空间跨越两个极端：前沿 大语言模型 (LLM)，通常托管在云端，以极高的成本在各种任务中提供强大的性能；以及更具成本效益的小语言模型 (SLM)，适合设备上推理。结合设备端和云模型的混合多代理系统（MAS）提供了一个有前途的中间地带，但它们也引入了一个复杂且难以理解的设计空间，其中任务准确性、货币成本和边缘能耗紧密耦合；在缺乏通用设计原则的情况下，混合组件虽然不是最普遍的选择，但通常是通过针对特定领域定制的临时决策来引入的。在这项工作中，我们更系统地研究这个设计空间。我们采用两种代表性的 MAS 架构来支持混合推理，并研究各个设计选择如何沿着功耗、成本和性能的帕累托前沿移动工作点。我们的研究结果描绘了混合 MAS 设计的细致入微的图景：虽然 SLM 可以有效地受益于 LLM 辅助，但最佳架构高度依赖于任务，并且更强大的前沿级计算并不总是能够转化为更好的性能。