论文
UltraPIPS:利用基础模型改善 B 型超声中的模型感知
UltraPIPS: Improving model perception in B-mode ultrasound with foundation models
摘要
在医学成像中,通常使用学习感知图像块相似度 (LPIPS) 在特征空间中对图像进行语义比较。尽管在自然图像上预训练的主干网络广泛用于 LPIPS 计算,但 B 模式超声图像具有独特的散斑图案和声学特定图像统计数据,这些图像与自然图像甚至放射学中的其他图像有根本的不同。因此,我们建议需要特定领域的模型来测量超声数据的感知相似性,这一发现对于其他成像方式不一定如此。我们使用自然图像、医学通才和超声主干模型比较了分类、分割和重建等下游任务的 LPIPS 指标,并表明选择 LPIPS 主干是一个重要的设计选择。特别是,与经典和自然图像模型相比,超声骨干模型与监督模型的下游性能更具相关性,并且超声骨干的 LPIPS 损失优化实现了重建质量和真实感之间的强大平衡。我们的代码可在 https://github.com/talg2324/UltraPIPS 上获取,并介绍了 UltraPIPS 库,这是一组基于本文分析的开源基础模型的 LPIPS 指标。