用于数据选择的可扩展、可转移的元网络需要不同的损失（以及为什么明显的选择是有问题的）

数据选择对于在海量异构语料库上训练大语言模型至关重要。用于训练数据选择的元学习通过从目标验证目标中学习数据权重，提供了启发式评分的原则性替代方案，但现有方法面临着细粒度评估和对未见数据的可转移性之间的权衡。一个自然的解决方案是用选择网络替换每个样本的权重。然而，我们发现直接将这样的网络合并到现有的 MTS 目标中会导致优化不稳定和泛化能力差，这是由权重抑制和对易于学习的特征的持续依赖造成的。为了解决这些问题，我们提出了可转移示例评分和选择（TESS），这是一个基于逐点值匹配目标（PVM）构建的可扩展数据选择框架。 LLM 安全性和目标指令调整的实验证明了跨数据集、从子集到完整语料库、从较小模型到较大模型的强大迁移。