论文
SegTME-UNI2：利用基础模型进行多类细胞分割与肿瘤微环境表征
SegTME-UNI2: A Foundation Model-Based Framework for Generalisable Multiclass Cell Segmentation and LLM-Driven Tumour Microenvironment Characterisation in Histopathology
摘要
从常规H&E染色组织图像分析肿瘤微环境，需要完成细胞分割、生物特征提取和可解释报告。SegTME-UNI2将三者连接为端到端流程：分割主干把图像块转为细胞核类别标签，结构化特征流程把标签转为定量微环境描述，语言模型再生成临床医生可读的文本。核心UNI2-UperHoVer将UNI2与两个并行UperNet解码器结合，一个进行六类语义分割，另一个回归HV梯度，支持分水岭方法区分细胞核实例。三阶段渐进伪标签训练依次使用PanNuke（0.25微米/像素）、TCGA-UT Scale-0（0.5微米/像素）及包含160万图像块、六个尺度的完整TCGA-UT（0.5至1.0微米/像素）。TCGA-UT比PanNuke覆盖更大的图像块上下文，也允许全切片推理采用更大步幅。流程计算每个图像块的22项组成、形态、空间熵及细胞间距离指标，转为六类表型标签和标准化生物词元，经NVIDIA BioNeMo微调生成具有临床依据的叙述，每项陈述都可与底层特征核对。IGNITE NSCLC切片的定性验证显示，在机构间染色差异及不完善分割下仍能得到生物学一致的分类与叙述。伪标签TCGA-UT数据集和UNI2-UperHoVer检查点已公开。