MotherTree：合成数据的元学习改善决策树训练

传统的决策树算法生成有效、透明的模型，可以独立于训练数据进行审核、交流和部署，但需要从头开始学习每一项新任务。相比之下，表格基础模型表明，从合成先验分布中进行元学习可以对以前未见过的任务进行强大的上下文预测，尤其是在小样本情况下。然而，这种方法不会产生可以单独检查的独立模型。我们引入了 MotherTree，一种元学习决策树归纳的表格Transformer：给定新任务的训练集，它在一次前向传递中输出一个硬的、轴对齐的决策树，其形式相当于经典训练的树。 MotherTree 使用随机梯度下降在合成先验上进行预训练，无需参考树进行监督。在受控样本大小的既定基准上，该方法与常见算法中的大小匹配树具有竞争力：递归分区、基于梯度的树学习、全局最优 树，以及表格基础模型的蒸馏。值得注意的是，MotherTree 持续改进了从头开始的基于梯度的学习，并充当了强大的初始化器：生成的树的特定于任务的调整在所有基准和样本大小上都优于相应的从头开始的学习器。这些结果表明，元学习可以为学习独立的小型决策树分类器提供有效的归纳偏差。