优化手术三联体识别：知识驱动的专家混合解决方案

手术动作三元组识别是上下文感知机器人辅助手术中的一项关键任务，通过识别仪器、动词、目标及其关联来促进自动手术动作感知。然而，现有的工作由于三个主要问题而难以分析如此复杂的手术场景：（1）由纠缠的特征空间引起的组件级优化冲突，（2）严重的数据不平衡引起的类别级优化冲突，以及（3）缺乏领域知识指导，限制了模型的可解释性和鲁棒性。为了应对这些挑战，我们提出了一个由知识驱动学习驱动的专家混合引导协同优化（\textit{MoeCo}）框架。在协同优化管道中，为了首先缓解组件级冲突，我们引入了一个组件定制的适配器，该适配器可以跨时空机制解开特定于任务的功能，从而促进有效的组件专业化。接下来，我们开发了一种协调的梯度学习策略来处理类别级别的冲突，该策略自适应地重新平衡正负梯度以增强对稀有类别的感知。值得注意的是，受外科领域专业知识的启发，我们引入了一种知识驱动的专家混合机制，该机制通过激活的专家动态集成多模态 大语言模型 引导的知识，从而通过更具表现力和更强大的表示来丰富协同优化管道。对公共 CholecT45 和 CholecT50 数据集的大量实验证实了所提出的协同优化管道的有效性以及通过知识驱动的专家混合机制进行动态先验集成的优越性。