论文
SAPI:联合衡量医学分割质量、能耗与模型规模
Performance at What Cost? A Sustainability-Aware Performance Index for Cell and Nucleus Instance Segmentation
摘要
用于细胞和核实例分割的预训练模型在架构、预训练数据和目标、参数计数、推理策略、适应要求、后处理管道和计算需求方面存在很大差异。大型预训练模型和基础模型因其强大的零样本能力而被越来越多地采用,但它们的使用也带来了更大的能耗、内存要求、计算需求、适应成本和运营碳排放。这些额外的需求是否能够通过细分性能的有意义的提升来证明是合理的,目前尚不清楚。我们通过引入可持续发展意识性能指数(SAPI)来解决这个问题,这是一个结合了分段性能、能耗和模型大小的可配置指标。我们在零样本推理下对 6 个 CellBinDB 数据集的 19 个预训练和基础模型进行了基准测试,并使用冻结编码器和全模型微调的少样本适应来评估 16 个可微调模型。我们使用以下方法估算 GPU、CPU 和 RAM 的能耗 基于软件的监控工具。我们的结果表明,更大、计算要求更高的模型并不能始终如一地实现分割质量的成比例改进。虽然少样本适应对多种模型都有好处,但不同架构、数据集和适应策略的收益和资源成本差异很大,导致基于 SAPI 的排名与仅基于性能的排名不同。这项研究为更全面地比较分割模型提供了一个实用的框架,并支持生物医学图像分析中更易于计算且对环境负责的模型选择。
