OrchSLM：探查小语言模型编排的动态机制

尽管大语言模型（LLMs）展现出卓越能力，但其依赖云级基础设施在智能体流水线中部署时面临根本性挑战，包括延迟、隐私、连接性及高昂的计算成本。小语言模型（SLMs）提供了可行替代方案：近期研究表明，智能体工作负载中的许多重复性且范围狭窄的子任务，可能比单一大语言模型更宜由专用SLMs处理。然而，SLMs的容量和上下文窗口受限，会制约长期推理和交互密集型的编排策略，如迭代验证与辩论。因此，我们提出一种互补的非交互式范式，其中异构SLMs独立生成候选解，路由器负责编排其缓存样本而无需进一步模型交互。为深入理解此类编排机制，我们引入OrchSLM，一种路由框架，可统一现有非交互式编排方法，并将其中的设计选择暴露为可控参数。通过将OrchSLM作为系统性探针，我们揭示了编排行为如何源于多种可调参数，包括任务结构、模型池组成以及多智能体共识机制。