解锁渐进式学习手术器械中的正向迁移：自我反思的分层提示框架

为了不断增强手术视频场景解析中的模型适应性，最近的研究逐步对其进行更新，以随着时间的推移逐步学习分割越来越多的手术器械。然而，先前的工作经常忽视积极的前向知识迁移的潜力，即过去的知识如何帮助学习新的课程，以及积极的后向知识迁移，即学习新的课程如何帮助完善过去的知识。在本文中，我们提出了一种自我反思的分层提示框架，释放了类别增量细分中积极向前和向后知识转移的力量，旨在熟练地学习新手术器械，提高既有手术器械的现有技能，并避免对旧乐器的灾难性遗忘。我们的框架建立在一个冻结的、预先训练的模型上，该模型在整个训练过程中自适应地为新课程添加仪器感知提示。为了实现正向知识迁移，我们将仪器提示组织成分层提示解析树，以仪器共享提示分区为根节点，n部分共享提示分区为中间节点，仪器不同提示分区为叶节点，为新课程公开可重用的历史知识，以简化他们的学习。相反，为了鼓励积极的向后知识转移，我们通过有向加权图传播对现有知识进行自我反思提炼，检查树中记录的知识关联以提高其代表性，而不会造成灾难性遗忘。我们的框架适用于基于 CNN 的模型和基于 Transformer 的高级基础模型，在两个公共基准上分别比竞争方法提高了 5% 和 11% 以上。