让目标自行选择：通过目标对齐路径进行数据选择

有针对性的数据选择从候选池中寻找训练样本，以提高下游任务的性能。虽然基于轨迹的选择器有效地指导了这一过程，但现有方法通常通过对候选池本身进行预热来构建参考状态，从而继承依赖于池的分布偏差。为了解决这种耦合问题，我们引入了目标对齐候选选择（TACS），它使用紧凑的目标验证代理构建了一条简短的、容量受限的参考路径。候选者按照沿着该轨迹的归一化损失减少程度进行排名，仅需要前向传递，并允许在固定模型-目标对的不同池中重复使用该路径。根据经验，TACS 在受控逻辑、视觉和 NLP 基准测试中实现了具有竞争力的下游性能，同时在大规模指令调优中将选择计算量削减了高达 69%，并将候选存储量削减至不到 10 MB。