InstEditSeg：用于息肉和皮肤病变分割的指令驱动图像编辑

息肉和皮肤病变的准确分割对于临床诊断至关重要，但现有方法存在对比度低、边界模糊和跨域分布差异等问题。判别网络和大多数基于扩散的分割方法预测独立的二值掩模，使得大规模预训练生成模型的视觉先验在很大程度上未被利用。我们提出了 InstEditSeg，一个统一的生成框架，它将医学分割重新表述为指令驱动的图像编辑问题。该模型不是发出掩模，而是根据文本指令在原始图像上渲染颜色编码的叠加层，以便编辑后的输出与潜在扩散模型学习到的自然图像分布保持一致，并缩小自然图像和医学图像之间的域差距。为了恢复精细的解剖结构，我们引入了 DINOv3 作为辅助视觉编码器和构建多尺度特征金字塔的 DINO 特征指导块。通过通道级联和零初始化卷积将金字塔融合到扩散 U-Net 中，以便可以在不扰乱预训练权重的情况下注入分层判别先验。双分支无分类器引导策略每个去噪步骤仅需要两次前向传递，从而降低了推理成本。在息肉和皮肤病变基准上，该框架实现了与强判别性基线相媲美的准确性，并且进一步展示了生成公式的具体优势：对未见过的数据有更好的跨域泛化、更完整的多病变分割、指令条件任务控制和采样灵活性。我们还分析了该范例的优点和局限性，包括其颜色敏感性和不受支持的属性条件选择。代码位于：https://github.com/wincharm001/InstEditSeg。