用于病理图像解释的语言空间中的空间消息传递

多模态 大语言模型 (MLLM) 可以从组织学图像生成病理描述，但十亿像素整体幻灯片图像 (WSI) 超出了其视觉上下文限制。标准平铺解决方法使 WSI 易于处理，但切断了定义肿瘤间质界面和形态的组织邻域。我们引入了空间语言消息传递（SLMP），这是一个完全在语言空间中执行空间推理的框架，通过构建人类可读。 SLMP 将 WSI 区域表示为空间文本图：图块是使用 MLLM 描述初始化的节点，边对空间邻接进行编码。对于每个图块，LLM 通过在共享聚合策略下集成来自相邻图块的语言消息来完善其描述，该策略在图块网格上充当对文本而不是学习的嵌入进行操作的自适应本地内核。该策略是一个可检查的提示，可以通过文本梯度从模型观察到的组织表型中进行细化，从而实现从局部细胞上下文到更广泛的组织形态的自动语义优化，而无需 微调 MLLM 权重。在代表性的 HER2 和 CAMELYON16 区域上，SLMP 在跨越通用和病理专业骨干的设置中提高了图块级肿瘤描述的准确性，增益增加了 +3.3 至 +19.6 个百分点。随机邻居消融证实这些增益源于空间背景，而不是单独的附加文本，并且检查优化的策略揭示了可解释的、特定于组织的决策规则。此外，在没有任何权重更新或 微调 主干 MLLM 的情况下，SLMP 极大地改进了通用 MLLM 并缩小了与病理学专用对应物的差距，提供了一种透明且灵活的机制，用于将空间推理纳入基于 MLLM 的病理分析中。