学习波动:因果表格预训练的统计基础
Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining
摘要
因果表格基础模型在综合机制中摊销效应估计,但潜在效应监督奖励后验收缩,而不是编码固定部署群体中所需的重复样本响应。我们引入波动监督预训练(FSP):每个合成表都用其平均治疗效果加上其有效影响函数波动来标记;部署仍然是冻结的向前传球。沿着路径 $T_{\lambda,P}=\theta(P)+\lambda P_n\psi_P$,我们证明了一个端点转换:每个固定的 $\lambda<1$ 保留阶 $(1-\lambda)^2/n$ 的标签模糊性,而完全波动使高斯标签可观察,并将最佳有限层因果标签预测风险降低到阶 $n^{-2}$。有限预训练界限结合了标签、网络、事件采样和优化误差;它的采样缺陷控制固定机制偏差、均方误差、方差、高斯近似,以及方差头精度、学生化覆盖范围。互补的下界将局部 $n^{-1}$ ATE 风险与通用有限字典情节学习的 $\log N/M$ 超额风险分开。实验追踪学习到的采样响应。在经过训练的上下文长度的 24 个非线性连续协变量单元中,与 S 学习器相比,连续行 FSP 将检查点平均宏 RMSE 降低了 7.0%,并赢得了所有 12 个弱重叠单元;在我们的热单线程基准测试中,FSP 将每个表的部署速度提高了 11.6 倍。在效果转移下,与潜在效应监督相比,匹配的 Raw FSP 将平均检查点 RMSE 降低了 54.2%,教师缺陷降低了 99.0%,与发布的 CausalPFN-S 检查点相比,RMSE 降低了 10.2%。已知效应半合成测试覆盖率;两项随机研究评估表明,较低的 RMSE 可以与残余衰减共存。