论文
LinearPFN：具有交互作用的线性模型的摊余变量选择
LinearPFN: Amortized Variable Selection for Linear Models with Interactions
摘要
尖峰和平板回归是变量选择的标准贝叶斯公式：它返回候选效应活跃的后验分布，而不是单个选定的子集，因此每个候选效应都带有包含概率。其成本随着候选效应的数量呈指数增长，因此只有当预测变量的数量很少时才能准确地枚举后验。除此之外，后验必须被近似，通常通过模型空间上的马尔可夫链蒙特卡罗来近似，这需要对每个数据集进行新的运行，并且在固定的步骤预算内，可能无法收敛。我们提出了 LinearPFN，一种先验数据拟合的变压器网络，它可以分摊具有主效应和成对相互作用的线性模型的尖峰和平板推理。该网络在根据明确指定的先验数据绘制的合成数据集上进行一次预训练，并且对新数据集的单次前向传递会返回后验包含概率、后验均值系数和后验预测分布，而无需每个数据集拟合。先验是通过设计共轭的，因此每个固定的主动效应集的后验都有一个封闭的形式，并且只要精确的后验仍然可以通过枚举计算，我们就可以根据它来验证网络的输出。在来自已发布的社会科学数据集的真实预测矩阵上，根据先验结果得出的结果，以便知道真正的活动集，与五个经典基线相比，LinearPFN 在中值概率模型规则下获得了更高的每个数据集选择 AUC 和更高的 F1。当系数、相互作用或噪声偏离先验值时，领先保持不变。代码：https://github.com/schiekiera/LinearPFN. 训练模型：https://huggingface.co/schiekiera/LinearPFN.
