多任务贝叶斯情境学习

贝叶斯预测推理为不确定性量化、数据效率和稳健泛化提供了原则框架。然而，精确的推理通常很棘手，并且可扩展的近似可能在计算上仍然昂贵或需要限制性的建模假设，从而降低预测性能。先验数据拟合和上下文模型最近通过学习将数据集直接映射到预测分布而成为一种摊销替代方案，但现有方法与训练先验的支持紧密耦合，并且缺乏在测试时适应新先验的明确机制，导致分布转移下的鲁棒性有限。我们引入了一种用于摊销分层贝叶斯预测推理的多任务上下文学习框架，该框架将先验信息明确表示为上下文数据集的前缀。经过先验和目标任务序列训练的 Transformer 可以学习在先验家族中调整其预测。在一系列难度越来越大的评估中，包括元分布外的先验和具有高维潜在结构的先验，我们的方法与预言机贝叶斯预测器相匹配，同时速度快了几个数量级。我们进一步证明了它在现实世界时空温度预测基准上的实际相关性。代码可在 https://github.com/martianmartina/multi-task-bayesian-icl/ 获取。