用表格基础模型评估主动特征获取策略

主动特征获取学习策略，顺序获取特征以最大化有关目标变量的信息。我们研究如何使用先验数据拟合网络（PFN）从有限离线数据中学习和评估此类策略，PFN 是现成的模型，可以输出后验预测分布，无需特定于任务的训练。我们表明，在离线数据覆盖不平衡的情况下，使用总预测熵作为奖励会产生认知偏差，从而惩罚获取稀疏观察到的特征。具体来说，这种奖励将认知不确定性（由于缺乏离线数据而产生）与随意不确定性（由于无信息特征而产生）混为一谈。为了解决这个问题，我们以后验预期（任意）熵为目标，而不是 PFN 输出的总预测熵来评估特征获取。对合成数据集和真实数据集的实证评估表明，我们的方法持续减少了价值估计偏差，并产生具有强大实证覆盖范围的可信区间，这可以转化为改进的下游策略选择。