论文
Hystar:通过动态 SVD 调制进行超网络驱动的风格自适应检索
Hystar: Hypernetwork-driven Style-adaptive Retrieval via Dynamic SVD Modulation
摘要
基于查询的图像检索 (QBIR) 需要在给定多样化且通常风格异构的查询的情况下检索相关图像,例如草图、艺术品或低分辨率预览。虽然像 CLIP 这样的大规模视觉语言表示模型 (VLRM) 提供了强大的零样本检索性能,但它们难以应对由看不见的查询样式引起的分布变化。在本文中,我们提出了超网络驱动的风格自适应检索(Hystar),这是一个轻量级框架,可以根据每个查询的风格动态调整模型权重。 Hystar 采用超网络为注意力层生成奇异值扰动 ($ΔS$),从而实现灵活的每个输入自适应,而 MLP 层上的静态奇异值偏移确保跨风格稳定性。为了更好地处理跨风格的语义混淆,我们将 StyleNCE 设计为 Hystar 的一部分,这是一种强调硬跨风格否定的最佳传输加权对比损失。对多风格检索和跨风格分类基准的大量实验表明,Hystar 始终优于强大的基线,实现了最先进的性能,同时保持参数高效且跨风格稳定。