论文
具有专家指导基础模型的百万级多模态花粉显微镜
Million-scale multimodal pollen microscopy with expert-guided foundation models
摘要
通过显微镜自动识别花粉仍然是空气生物学、古生态学和生物多样性监测的瓶颈,因为可扩展的系统必须在标本制备、扫描仪设置和地理起源方面进行推广,同时保留孢粉学的可解释性。为了解决这一差距,我们提供了一个百万规模的多模态花粉显微镜资源,即 Pollen AI Atlas,它由跨四个地理起源、四种扫描仪设置、45 个属和 31 个植物科的一个纯物种分类单元的纯种全幻灯片明场图像组装而成。通过每个源幻灯片手动选择一个样本,词元级 挖掘和过滤产生了 1,511,390 个已发布的颗粒检测,在专家策划的测试区域中建议精度为 99.6%。每次检测都与来自五个开放权重视觉语言模型的机器生成的颗粒级形态描述配对,在专家验证的孢粉学锚的指导下,产生孔径系统、墙壁装饰、形状和大小的结构化描述。在评估的模型中,Gemma4 提供了最受控制的主要图像描述集,结合了严格的长度控制、未检测到分类单元名称或数字大小泄漏以及最强的文本检索性能。具有冻结视觉特征的基线基准达到了 88.16% top-1 准确率,而跨区域检索表明,当图像相似性降低时,字幕衍生的文本嵌入仍然保持稳健(mAP@20 0.811 与 0.262)。发布的数据、注释、说明、分割、代码和权重为花粉识别、跨区域领域适应和特定领域的多模态显微镜学习提供了基准。