通过 logits 组合在自回归模型中进行组合概括

构建自回归模型仍然是理解 大语言模型 如何结合跨任务学习的行为或技能的核心挑战。受到为扩散模型开发的组合方法的启发，我们为自回归系统引入了一种新的有原则的组合策略。在分解条件假设下，我们表明所得到的组合是投影的：每个组件模型保留对其自己指定的输出分布子空间的控制，避免模型之间的干扰。该属性在输出空间的平滑重新参数化下得到进一步保留，从而产生特征空间定理。最后，我们证明，当分解假设和分量保证一致保持在目标长度时，组合保留了长度泛化行为。这些结果提供了对自回归系统中模型组合和合并何时成功的原则性理解，并确定了它们的相互作用保持稳定的条件。