ProTPS：用于持续学习的原型引导文本提示选择

为了持续学习，基于文本提示的方法利用文本编码器和可学习的提示来编码随着时间的推移顺序到达的类的语义特征。现有工作遇到的一个共同挑战是如何学习独特的文本提示，这些提示隐式地携带新类别的语义信息，使得新到达的类别的语义特征不会与训练过的类别的语义特征重叠，从而减轻灾难性遗忘问题。为了应对这一挑战，我们提出了一种新颖的方法“原型引导文本提示选择（ProTPS）”，以有意增加训练灵活性，从而鼓励学习独特的文本提示。具体来说，我们的 ProTPS 学习特定于类别的视觉原型和文本提示。视觉原型指导每个类别的文本提示的选择和学习。我们首先在类增量（CI）设置和跨数据集持续（CDC）学习设置中评估我们的 ProTPS。由于我们的 ProTPS 的性能接近上限，我们进一步收集了一个真实世界的数据集，其中包含六年内收集的 112 个海洋物种，命名为 Marine112，为社区带来新的挑战。 Marine112 真正适合类和领域增量 (CDI) 学习环境，并且处于自然长尾分布之下。三种设置下的结果表明，我们的 ProTPS 的性能优于最近最先进的方法。实现代码和 Marine112 数据集将在我们的论文被接受后发布。