重新思考规模：代理范式下小语言模型的部署权衡

尽管 大语言模型 的功能令人印象深刻，但其巨大的计算成本、延迟和隐私风险阻碍了其在实际应用中的广泛部署。参数少于 100 亿个的小语言模型 (SLM) 是一种很有前途的替代方案；然而，它们在知识和推理方面的固有局限性削弱了它们的有效性。现有的研究主要集中在通过缩放法则或 微调 策略来增强 SLM，而忽视了使用代理范式（例如工具使用和多代理协作）来系统地弥补小模型固有弱点的潜力。为了解决这一差距，本文首次在三种范式下对 <10B 开源模型进行了大规模、全面的研究：(1) 基本模型，(2) 配备工具的单个代理，以及 (3) 具有协作功能的多代理系统。我们的结果表明，单代理系统在性能和成本之间实现了最佳平衡，而多代理设置会增加开销，但收益有限。我们的研究结果强调了以代理为中心的设计对于在资源有限的环境中进行高效且值得信赖的部署的重要性。