部分标签下稳健即时学习的整体最优标签选择

即时学习作为一种参数有效的方法，使大型预训练视觉语言模型适应下游任务，已受到广泛关注。然而，当只有部分标签可用时，其性能往往会受到标签模糊性和监管信息不足的限制。为了解决这个问题，我们提出了整体最优标签选择（HopS），通过两种互补策略利用预训练特征编码器的泛化能力。首先，我们设计了一个基于局部密度的过滤器，它从最近邻居的候选集中选择最频繁的标签，并使用 softmax 分数来识别最合理的标签，捕获特征空间中的结构规律。其次，我们引入了基于最佳传输的全局选择目标，该目标将均匀采样分布映射到批次中的候选标签分布。通过最小化预期运输成本，它可以确定最可能的标签分配。这两种策略共同作用，从本地和全球角度提供稳健的标签选择。对八个基准数据集的广泛实验表明，HopS 在部分监督下持续提高性能，并优于所有基线。这些结果凸显了整体标签选择的优点，并为弱监督环境中的快速学习提供了实用的解决方案。