MatrixFormer：矩阵补全的基础模型

矩阵补全是从表格插补到因果推理等问题的基础，但现有的表格基础模型将其视为逐条目预测，为每个目标重复上下文并丢弃矩阵的二维结构。我们引入了 MatrixFormer，这是一种预训练的矩阵原生转换器，可以预测单次前向传递中每个缺失条目的完整分布。 MatrixFormer 完全在不同缺失模式下的合成低秩和潜在因子矩阵上进行训练。采用零样本且具有相同的模型权重，MatrixFormer 在因果推理面板数据任务、语言模型基准分数完成、表格插补和推荐系统矩阵完成上实现了具有竞争力的性能。这些结果将 MatrixFormer 定位为矩阵补全的通用基础模型。