用于可推广基础模型适应的扩散元提示和指导

提示学习是一种适应基础模型的流行方法，但学习的提示通常是特定于任务的，并且无法泛化到新的类、领域或任务组合。在本文中，我们介绍了扩散元提示（DMP）模型，这是一个使用扩散模型对学习提示的分布进行建模的框架。给定先前学习的提示的存储库，DMP 无需访问原始任务示例或任务损失即可进行训练和采样，并根据自然语言任务描述合成新的提示。为了提高采样稳定性，我们引入了 DMP 的测试时转向策略，该策略使用存储库中最好的训练选择提示作为扩散采样期间的潜在锚点，而无需重新训练 DMP 或访问测试类。 DMP 提高了分类、检索和文本到图像生成任务的泛化能力，支持概念构成和负面提示，无需显式训练。与即时检索方法相比，它可以降低 90% 以上的存储和推理成本。对于复合材料 分类方面，DMP 在 55 对数据集上比之前的元学习方法平均增益高达 2.0%，在特定对（例如 Eurosat 和 Flowers）上的增益高达 8.5%。 DMP 还增强了跨任务泛化能力，分层分类任务提高了约 2-9%。我们进一步提供了理论上的保证，限制了从 DMP 采样的提示的预期任务损失。代码可用：https://github.com/DeepakSridhar/dmp