论文
通过任务算法进行开放词汇动作识别的鲁棒零样本泛化
Robust Zero-Shot Generalization for Open-Vocabulary Action Recognition via Task Arithmetic
摘要
开放词汇动作识别 (OVAR) 通过利用视觉语言表示来识别新颖的动作，克服了传统封闭集方法的局限性。然而，在现实场景中实现稳健的性能通常需要特定于域的 微调，这通常成本高昂，并引发隐私和监管问题。在这项工作中，我们提出了一种替代范例，绕过目标域训练并重新组合现有数据集和模型中的知识。利用模型合并和任务算法，我们从在不同公共 OVAR 数据集上微调的模型中提取并组合任务向量。我们表明，在分布外设置中，生成的合并模型实现了优于预训练基础模型的零样本泛化。代码可在 https://github.com/omaymaMoussadek/robust-ovar 获取