TreeAdapter：用于细粒度物种图像生成的分层分类法引导的适配器组合

尽管一般的文本到图像模型在开放域生成中表现出色，但它们的性能在专门的下游域中显着下降，特别是在生成稀有生物物种的图像时。受长尾分布的阻碍，一般模型难以捕捉微妙的细粒度细节，而按物种的 微调 方法过度隔离单个物种，从而忽略密切相关的类群之间的共享视觉特征。为了解决这个问题，我们提出了 TreeAdapter，这是一种明确利用分层分类数据的新颖框架。 TreeAdapter 不是使用整体模型或独立的每物种模块，而是将轻量级适配器附加到分类树的每个节点。具体来说，叶节点适配器捕获物种特定的视觉特征，而内部节点适配器则封装后代类群之间的共享语义。我们引入了一个两阶段的训练范例，其中祖先适配器被优化以仅模拟其后代无法解释的残留视觉特征。这种模型架构和训练范式使模型能够充分利用层次信息，确保准确生成每个物种的视觉特征。跨越三个大规模生物多样性基准的广泛实验表明，TreeAdapter 实现了最先进的细粒度生成质量，优于通用和特定领域的基准。