论文
SFGA:统计优先的门控架构,具有裁决升级功能,可实现值得信赖的 SFT 数据采购
SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement
摘要
获取受监督的 微调 (SFT) 数据迫使购买者在任何下游训练之前决定候选语料库是否值得获取。我们提出 \sys{},一种统计优先的门控架构,它将采购视为三个内在质量轴(多样性、效用和冗余)上的成本感知路由问题。廉价的盲测量被总结为带有置信区间的每轴估计;只有当间隔很紧、样本量足够并且轴一致时,门才会接受决定,否则会将案件升级为购买主张者和拒绝主张者法官之间的裁决性辩论,并通过主审裁决解决。在具有 5 个种子的 12 个数据集(三个轴上的 $2{\times}3{\times}2$ 网格)的受控基准上,门达到 0.90 精度和 0.83 $F_1$,每单位 $0.017,位于始终验证基线 (0.75) 和预言机上限 (0.98) 之间,同时花费少于始终升级 (\$0.020)。我们进一步报告了辩论路径的诚实负面诊断:0.80 ($p\approx3{\times}10^{-6}$) 的反方获胜率和主张交换下 52\% 的立场翻转率暴露了天真的 LLM 法官会隐藏的消极性和立场偏见。我们将注入旋钮评估明确地构建为测量保真度和路由校准的受控综合基准,并将外部有效性界定为未来的工作。