论文
3D 植物表型分析的转折点:3D 基础模型实现了分钟到秒的跨作物重建甚至超越
The Turning Point of 3D Plant Phenotyping: 3D Foundation Models Enable Minute-to-Second Cross-Crop Reconstruction and Beyond
摘要
由于广泛的多视图成像、脆弱的 3D 重建管道以及从重建几何结构到表型提取的额外成本,众所周知,3D 植物表型分析程序复杂且吞吐量低。这些限制在低成本数据采集中进一步放大,其中智能手机视频或稀疏采样的多视图图像提供有限的视图重叠和自遮挡。在这项工作中,我们展示了传统的 3D 植物表型分析流程可以通过 3D 基础模型 (3DFM) 进行简化和显着加速,特别是,提出了第一个由 3DFM 支持的跨作物 3D 表型框架之一。该框架用基于 3DFM 的前馈几何恢复取代了 COLMAP 式的稀疏初始化,结合几何约束的 3D 高斯分布进行密集重建,通过迭代视图合成和细化实现少视图重建,并通过 2D 到 3D 语义转移、度量尺度恢复和器官实例分离将重建的几何形状转换为可测量的器官。我们进一步构建了一个跨作物数据集,其中包括基于智能手机的图像采集、不同的植物形态以及用于分割和表型评估的手动注释。针对 26 个植物序列的实验表明,3D 基础模型将平均重建时间从 6.52 分钟减少到 1.58 秒,同时保持较高的重建质量和表型准确度。这些结果为高通量 3D 植物表型分析提供了一条全新的技术路线,从低成本图像采集到快速重建、感知、尺度恢复和表型测量。