迈向可靠的污渍转移：基于多模式专家指导评估的迭代数据模型协同优化框架

组织病理学检查主要依靠苏木精和伊红（H&E）和免疫组织化学（IHC）染色。尽管 IHC 提供了关键的分子信息，但其成本高昂且需要专业知识。染色转移通过从 H&E 图像计算生成 IHC 提供了一种有效的替代方案，但仍然面临像素未对齐监督下异质生物标志物的统一且可解释的建模的挑战。我们提出了 DMCoStain，一种用于染色转移的新型数据模型协同优化框架。它迭代地共同完善训练数据和模型能力，提高病理和结构一致性的染色准确性和可解释性。为了以具有临床意义的方式细化训练数据，它结合了多模式专家引导的精细选择 (MEGFS) 策略，该策略建立在模拟病理学家推理的开创性 IHC 阳性表达 (IPE) 视觉语言模型 (VLM) 的基础上。为了支持 MEGFS，我们构建了ImmunoInstruction，这是第一个包含 150K VQA 样本的大规模 IPE 指令跟踪数据集。对多种组织和生物标志物的大量实验表明 DMCoStain 达到了最先进的 (SOTA) 准确性。该范式具有很强的实用价值，MEGFS还可以作为未来模型开发的专门评估工具。数据集、代码和更多详细信息位于 https://github.com/SikangSHU/DMCoStain。