TANDEM：使用双网络进行双层数据混合优化

大语言模型 (LLM) 的功能很大程度上取决于来自各个领域的训练数据。优化特定领域的混合比可以建模为双层优化问题，我们将其简化为单层惩罚形式并使用双网络来解决：在原始数据上训练的代理模型和使用附加数据训练的动态更新的参考模型。我们提出的方法，用于双层数据混合优化的孪生网络（TANDEM），通过孪生模型和从附加数据中受益更多的权重域之间的差异来衡量数据效率。与之前的方法相比，TANDEM 提供了理论保证和更广泛的适用性。此外，我们的双层视角提出了研究域重新加权的新设置，例如数据限制场景和监督 微调，其中优化的混合比率显着提高了性能。大量实验验证了 TANDEM 在所有场景中的有效性。