Agentic指令数据选择：让DataMaster解读你的意图

摘要

尽管现有的指令数据选择方法引入了多种度量指标，但真实数据集固有的复杂性使得任何单一指标都难以在所有场景中泛化。因此，开发者常常被迫为每个新应用人工检查数据并设计启发式规则——这是一个繁琐且容易出错的过程。本文提出从人工配置到自动化编排的范式转变，即指令数据选择智能体（Instruction Data Selection Agent，DataMaster），它解读用户意图并自主组合最优选择策略。通过允许用户以自然语言描述来指定数据需求，DataMaster简化了数据整理并卸下了人工策略设计的负担。在数学、医疗和代码领域的大量实验表明，DataMaster在大多数设置中优于静态基线，并在相当多的情况下超过全量池训练。DataMaster的实现以及复现所报告管线所需的脚本已在 https://github.com/nju-websoft/DataMaster 公开。

Agentic指令数据选择：让DataMaster解读你的意图：论文配图 — 图1：静态选择与意图条件化选择的比较。(a) 传统方法应用与用户需求无关的固定选择标准，产生千篇一律的子集。(b) DataMaster解释自然语言指令和训练集，动态配置跨领域、特性、信息量和质量四个方面的四智能体级联。因此，同一个SFT数据池可以按不同需求（如数学推理和医学问答）产生不同的任务对齐子集。目标模型还进一步为信息量智能体的学习价值评估提供依据。