论文
学会寻求帮助：Small 与 大语言模型 之间的动态协作
Learning to Seek Help: Dynamic Collaboration Between Small and Large Language Models
摘要
大语言模型 (LLM) 提供了强大的功能，但增加了成本和隐私问题，而小语言模型 (SLM) 促进了高效和私密的本地推理，但容量有限。为了协同互补优势，我们引入了一个动态协作框架，其中 SLM 学习在多步骤推理过程中主动决定如何请求 LLM，而 LLM 提供自适应反馈而不是充当被动工具。我们进一步系统地研究了 SLM 和 LLM 功能以及效率和隐私约束如何塑造协作策略。评估结果揭示了明显的规模效应：更强的 SLM 变得更加自力更生，而更强的 LLM 可以实现更少但信息量更大的交互。此外，学习到的动态协作策略显着优于静态管道和独立推理，并且可以稳健地迁移到看不见的 LLM。