病理学家注意力一致的前列腺组织病理学报告生成

病理学家在癌症诊断过程中分配视觉注意力是一个高度选择性的过程，它严格地塑造从全幻灯片图像 (WSI) 中提取的信息。人类注意力有助于分类和分割等医学成像任务，并成为识别诊断信息区域以生成报告的强大语义线索。在本文中，我们将人类注意力引入病理学家报告生成模型的训练中。为此，我们收集了 121 个前列腺 WSI 的多模态人类注意力数据集，并用病理学家的多尺度视口轨迹进行注释，与病理学家的口头描述和五个临床相关组件（例如格里森模式）的光标移动同步。使用该数据集，我们通过注意对齐损失对两个报告生成模型进行微调，该模型对图像块的模型注意进行正则化，以匹配病理学家注意的分布。我们使用具有不同内部注意力机制（即图像标记如何集成到语言解码器中）的两种模型来评估我们在前列腺癌报告生成和视觉问答方面的方法。实验表明，基于 NLP 的指标平均提高了 10.9%，五个临床相关报告组件的准确性平均提高了 19.3%。此外，在推理时提取的模型注意力图以最小的计算开销，与病理学家的注意力更紧密地结合，通过突出显示对输出影响最大的区域，为生成的报告提供更强的视觉支持。