SPROUT：用于多作物植物表型分析的可扩展扩散基础模型

基于图像的植物表型分析取决于对作物的密集结构理解，但像素级注释在物种、器官、生长阶段和田间条件下仍然昂贵。通用视觉基础模型提供了提高标签效率的自然途径，但它们的网络规模预训练目标很难转移到农业图像，其中语义通常由重复的、纹理主导的场景中的精细器官几何形状决定。我们介绍 SPROUT，一种用于多种作物表型分析的扩散基础模型。 SPROUT 使用像素空间扩散 Transformer 从 260 万张未标记的开放图像 (MCD-2.6M) 中学习，并在去噪时间步长上使用无标记有效秩标准选择可转移特征。这种设计将预训练从基于作物的不变性转变为结构保留去噪，使表示更好地与密集表型任务保持一致。我们在密集表型任务中评估 SPROUT，包括器官分割、农作物杂草解析、深度估计和计数。 SPROUT 持续改进强大的网络预训练基线，在密集结构预测方面收益最大，并且与通用和特定作物基础模型相比，显示出良好的标签和计算效率。源代码和 MCD-2.6M 数据集是公开的。