让训练指南选择：通过真实锚定实用程序进行在线综合数据过滤

当现实世界数据有限时，合成数据可以扩展训练监督，但噪声和分布不匹配会降低其价值。现有的综合数据选择方法通常强调保真度或多样性，而不是学习者不断变化的需求。我们提出了 FROST，一个在线框架，通过锚定于真实训练数据的梯度反馈来估计合成数据效用。它根据最近的历史记录校准批处理实用程序，以确定何时需要过滤，并且仅在带外批次中过滤样本以确定要保留的内容，而无需外部验证器或保留验证集。对图像分类的两个公共基准和文本到 SQL 的 LLM 微调进行的实验表明，与在完整合成数据池上进行训练相比，FROST 过滤掉了大约 20--30% 的合成数据，同时提高了实际任务性能。我们在大规模工业广告重新排名系统的训练过程中进一步应用了 FROST，在高度优化的生产基线上取得了显着的性能提升，证明了其有效性和通用性。