Planktonzilla：用于了解浮游生物生态系统的多模式数据集和模型

海洋浮游生物支撑着水生食物网，并在全球二氧化碳封存中发挥着关键作用，因此可靠的物种识别对于了解海洋健康和气候反馈至关重要。现有的分类模型在单个集合上表现良好，但由于孤立的训练数据集和不一致的标签而无法跨仪器和环境进行泛化。为了解决这个问题，我们引入了 Planktonzilla-17M，这是一个统一的数据集，整合了涵盖 13 个成像系统的公开浮游生物图像集合。它包含 1740 万张具有标准化分类和地理环境元数据的图像，其中包括 374 万张浮游生物图像，涵盖 602 个分类类别，其中 201 个在物种级别进行了识别，使其成为迄今为止最大、最全面的浮游生物图像数据集。使用这个大规模数据集，我们在共享 ViT 主干上对监督式图像文本训练和 CLIP 式图像文本训练进行受控比较。我们发现，当使用分类谱系作为文本进行训练时，监督分类器可以匹配或超过 CLIP 式训练。我们进一步观察到 BioCLIP 和 BioCLIP2 在零样本和少样本设置中对浮游生物的表现较差。利用 Planktonzilla-17M 提高了浮游生物分类性能，突出了当前海洋成像领域生物基础模型的局限性。