D$^3$：LLM 训练的动态定向图约束数据调度

训练数据在 大语言模型 (LLM) 优化中发挥着核心作用，激发了对数据调度策略的广泛研究。大多数现有方法集中于调整整体数据分布，但忽略了训练期间样本之间的潜在交互。然而，我们认为这种相互作用不容忽视，因为现实世界的数据样本经常表现出相互之间的方向性影响，使得训练顺序至关重要。直观上，我们可以优先考虑影响力较大的训练单元，以提高学习效率。在这项工作中，我们提出了$D^3$，一种动态方向图约束数据调度框架。 $D^3$ 将训练单元之间的复杂交互表示为动态影响图，其中边代表基于损失的依赖关系。然后，它解决该图上的约束优化问题以导出训练顺序，这确保数据序列尊重整个训练过程中不断变化的信息流。我们的方法是从理论上出发的，并且在 预训练 和 后训练 阶段对现有数据调度方法产生了一致的改进。此外，为了可扩展性，$D^3$还采用了高效的近似算法，将额外的计算开销保持在可管理的范围内。对于未来的研究，代码可在 https://github.com/xuyj233/D3 获取。