用于开放词汇语义分割的双曲空间中的语义对齐

开放词汇语义分割需要将图像级视觉语言模型（例如 CLIP）调整为密集像素级预测，由于嵌入空间中的层次结构和语义对齐之间的不匹配，这具有挑战性。虽然最近的工作利用双曲几何来建模层次关系，但它们跨层次级别对齐嵌入，但忽略了同一级别内嵌入之间的语义错位。在这项工作中，我们提出了 HyRo，一个双曲 微调 框架，它解耦了庞加莱球模型中的层次结构和语义对齐。 HyRo 通过调整双曲半径来对齐层次结构，并使用理论上保留双曲半径的正交变换通过角度对齐来细化语义关系。标准开放词汇语义分割基准的实验表明，HyRo 比之前的方法实现了最先进的性能。