用于昆虫系统发育重建的形态感知多模态表示学习

形态特征为系统发育重建和进化关系分析提供重要证据。最近基于图像的方法引入了深度学习，特别是卷积模型，以从样本图像中获取形态特征，但这些方法通常依赖于单模态视觉表示，并且没有明确地结合形态语义。本研究提出了一种用于昆虫系统发育重建的形态感知多模态比对框架。该框架通过参数高效的 微调 和监督对比学习来调整视觉 Transformer，将样本图像与精心策划的形态描述相结合，然后在共享潜在空间中进行图像文本对齐。然后将学习到的图像嵌入用作贝叶斯系统发育重建的连续特征。在公共 Rove-Tree-11 数据集上，跨多个视觉主干和特征适应策略的比较和消融实验表明，多模态对齐提高了与参考系统发育的拓扑一致性。结果表明，所提出的框架可以导出用于计算系统发育重建的形态感知视觉特征。