潜在空间中图像的变换行为

用于组织病理学分类任务的神经网络的训练通常依赖于将数据编码到潜在空间中，这降低了复杂性并提高了性能。有几种可用的编码器网络，要么在 ImageNET 等通用图像数据集上进行预训练，要么专门在组织病理学图像上进行预训练。编码器网络的训练应适应下游任务，允许对生物/诊断内容进行编码，同时使网络对标签无关的转换保持不变。本文利用 Lunit Inc. 和 Biooptimus（两家公司均专注于病理图像）和 Meta 研究团队提供的网络，研究了经典图像变换对潜在空间的影响。我们通过比较原始图像嵌入和转换后的图像嵌入，并将它们与随机、不相关的嵌入进行对比，使用结直肠组织数据集中提供的苏木精/伊红染色切片和可公开访问的 TCGA 数据集的图像块，来评估标准数据转换产生的嵌入的方差。我们的研究结果表明，原始图像和变换后图像的嵌入比随机嵌入更接近，表明变换的鲁棒性。然而，它们并不是完全不变的，这表明编码器网络并没有完全抵消潜在空间中的变换效应，这解释了为什么数据集的变换介导的增强可以提高性能。在一般编码器网络和组织病理学特异性编码器网络之间观察到显着差异。