论文
CAST:零样本分类器扩展的闭式分析语义迁移
CAST: Closed-form Analytic Semantic Transfer for Zero-Shot Classifier Extension
摘要
大型预训练模型已成为现代机器学习系统的基础组件。然而,使这些模型适应新的类别通常需要来自目标分布的示例。然而,在许多领域,此类数据是不可用的。零样本学习(ZSL)通过依赖文本描述等辅助语义信息,允许在这些限制下进行识别。我们引入了 CAST(闭式分析语义迁移),这是一种 无需训练 无图像框架,用于通过权重注入将预训练的分类器扩展到以前未见过的类。我们为 CAST 提供了理论基础,并推导了有限样本误差分解,该分解可识别 \emph{语义外推残差} $ρ_u$。残差是一种可计算的、与模型无关的度量,为数据集管理和基准设计提供了原则性标准。标准零样本学习基准的实验表明,CAST 匹配或超过现有的无图像方法,并接近少样本适应方法的性能,同时不需要迭代优化,也不需要来自目标分布的示例。