黑盒辅助回归：相变和极小极大最优性

基础模型通常用作带有有限标记数据的下游任务的固定黑盒预测器，但它们的预测可能存在偏差且不安全，不能盲目信任。我们通过黑盒辅助非参数回归来研究这一设置：学习者观察标记样本并可以查询固定预测变量 $f_0$，而目标 $f^*$ 在 $L_2(P_X)$ 中接近 $f_0$，直到未知半径 $δ$。我们给出了有限样本极小极大表征，显示 $δ_c(n) \asymp n^{-β/(2β+d)}$ 处的相变，领先风险为 $\min\{δ^2, n^{-2β/(2β+d)}\}$。然后我们分析一个安全残差估计器：它学习 $f_0$ 附近的校正，将残差水头初始化为零，因此初始预测器等于 $f_0$，并在验证数据不支持学习的校正时使用保留选择恢复到 $f_0$。这里，“安全”意味着避免负迁移，即比单独的黑盒预测器表现更差。估计器将领先的极小极大项与加性验证选择成本相匹配。综合回归实验验证了预测的相变，而带有 CLIP 的 CIFAR-100 和带有 Qwen3-8B 的 AG News 提供了面向实践的证据，表明相同的残差校正权衡在正式的平方损失回归设置之外也是有用的。