论文
使用 CT 和放射学报告进行喉咽癌 T 分期预测的解剖感知细粒度多模态融合
Anatomy-aware Fine-grained Multimodal Fusion for Laryngopharyngeal Cancer T-Staging Prediction Using CT and Radiology Report
摘要
准确的T分期对于指导喉咽癌的个性化治疗策略至关重要。然而，当前的临床实践依赖于侵入性活检程序，而由于肿瘤侵袭的复杂模式，基于 CT 的分期仍然具有挑战性。最近的计算机辅助方法面临两个关键挑战：1）结构关系建模：现有方法不足以代表肿瘤侵袭的解剖结构模式，因为它们要么在没有肿瘤特异性解剖学限制的情况下处理整个 CT 体积，要么依赖于劳动密集型肿瘤分割。 2）细粒度的跨模式对齐：虽然放射学报告包含特定器官的入侵细节，但当前应用全局特征融合的方法很难将个体解剖结构与其相应的文本描述准确对齐。为了解决这些问题，我们提出了一个解剖学感知的多模式框架，该框架将器官级 CT 背景和放射学报告集成到喉咽 T 分期的统一表示中。该框架首先构建一个解剖结构器官图（AOG），捕获主要部位和周围器官之间的入侵模式，然后执行器官锚定跨模态对齐（OCA），以便每个器官节点聚合来自放射学报告的文本证据，最后通过报告增强图细化（REG）注入从报告中提取的器官特异性入侵线索来细化该图表示，产生结合了空间和文本的多模态器官图证据。大量实验表明，所提出的框架在喉咽癌 T 分期中取得了优异的性能。
