任务对齐：跨不同视觉任务的实用模型合并的简单代理

摘要

有效地合并针对不同任务进行微调但源自相同预训练基础模型的多个模型具有很大的实际意义。尽管之前有大量的工作，但计算机视觉中模型合并的大多数评估仅限于使用 CLIP 进行图像分类，其中不同的分类数据集定义不同的任务。在这项工作中，我们的目标是使模型合并更加实用，并显示其与超出此特定设置的挑战性场景的相关性。在大多数视觉场景中，不同的任务依赖于可训练且通常是异构的解码器。与之前使用冻结解码器的研究不同，在冻结解码器中可以立即评估合并模型，解码器训练的巨大成本使得基于下游性能的超参数选择变得不切实际。为了解决这个问题，我们引入了任务对齐代理，并展示了如何使用它来在保持性能的同时将超参数选择速度提高几个数量级。配备任务对齐代理，我们将模型合并的适用性扩展到基于 CLIP 的分类之外的多任务视觉模型。项目页面：https://europe.naverlabs.com/task-alignment