InterHier：学习用于开放词汇对象检测的互连分层语义

在本文中，我们研究了开放词汇对象检测的分层语义表示中固定的、手工制作的连接器的局限性。现有方法通过在相邻的超/子类别之间放置固定连接器来建立基本类别和未见过的新类别之间的语义关系。然而，这样的固定连接器可能无法最佳地捕获语义层次结构内的关系。为了解决这个限制，我们提出了互连的分层语义表示（InterHier），它利用前置的可学习上下文来全局指导对包含分层关系的提示的解释。 InterHier 的运作分为两个主要阶段。首先，它通过集成超级/子类别并预先考虑可学习的上下文来构建层次结构感知提示。其次，它优化了可学习的上下文，以对齐视觉区域嵌入和文本嵌入。与依赖固定连接器的方法相比，InterHier 不断提高性能，并且可以无缝集成到现有的开放词汇对象检测模型中。开放词汇目标检测基准的实验表明，InterHier 的性能与最先进的方法相比具有竞争力。