论文

选择思考:通过本地自给自足来释放可持续土地管理的潜力

Select to Think: Unlocking SLM Potential with Local Sufficiency

摘要

小语言模型 (SLM) 提供高效的部署,但它们在推理方面通常落后于较大的对应模型 (LLM)。现有的补救措施要么在推理分歧点调用 LLM,从而产生大量延迟和成本,要么依赖标准 蒸馏,后者受到 SLM 精确模拟 LLM 复杂生成分布的能力的限制。我们通过识别局部充分性来解决这个困境:在分歧点,LLM 的首选词元通常位于 SLM 的前 K 个下一个词元预测中,即使未能成为 SLM 的前 1 个选择。因此,我们提出 Select to Think (S2T),它将 LLM 的角色从开放式生成重新定义为在 SLM 提案中进行选择,从而将监督信号简化为离散候选排名。利用这一点,我们引入了 S2T-Local,它将选择逻辑提炼到 SLM 中,使其能够执行自主重新排序,而无需推理时 LLM 依赖性。根据经验,1.5B SLM 的前 8 个候选包含 32B LLM 的选择,命中率为 95%,并且 S2T-Local 改进了 1.5B SLM 的数学平均值。比贪婪解码提高了 24.1% 的相对增益,将 8 路径自一致性的功效与单轨迹效率相匹配。