用于域泛化分割的分层提示注入器

领域广义语义分割（DGSS）是一项具有挑战性的任务，因为视觉模型通常依赖于跨领域变化的低级外观线索。相比之下，结构属性表现出跨域稳定性，激发了 DGSS 结构先验的使用。现有方法使用提示学习将此类先验转移到 DGSS 模型中，但通常将每个类别编码为单个整体提示。此外，这些方法将提示统一应用于所有像素，当由于视点变化、遮挡和环境变化而只有对象区域的子集可见时，没有提供适应机制。我们通过 \textbf{空间分层提示（SHP）} 来解决这个问题，它通过区域级几何锚点丰富每个类，从不同的视角捕获结构外观，确保任意视点下的互补覆盖。此外，我们提出了\textbf{分层提示注入器（HPI）}，它可以在基础模型中实现空间自适应提示注入。 HPI 通过使用视觉特征对语义相关性和空间影响进行建模，在空间上为提示提供基础。考虑到学习空间和语义感知提示注入的困难，我们进一步引入辅助监督来将分层提示与其相应的对象区域对齐。我们在合成到真实和真实到真实基准上分别实现了 70.62\% 和 72.74\% mIoU。代码和检查点发布于 https://github.com/MosukFate/HPI