论文

DLLG:LLM 专家的动态 logits 级门控

DLLG: Dynamic Logit-Level Gating of LLM Experts

模型优化模型合并

摘要

利用多个专用 LLM 可以结合互补的优势,但现有方法以适应性换取稳定性:路由过早提交、启发式集成依赖于脆弱的代理、参数合并引入干扰。我们提出了 DLLG(动态 logits 级门控),这是一种动态 logits 级集成框架,可从稀疏响应级监督中学习 词元级 专家融合。轻量级门控模块可预测逐步融合权重,将轨迹级正确性与生成联系起来,无需 词元级 标签或专家再训练。在不同的推理和代码基准测试中,DLLG 在模型规模上始终优于强大的路由、启发式集成和参数合并基线,突出了学习到的 logits 级融合作为集成专业专家的强大且可扩展的范例。