OrthoFuse：用于扩散模型的正交样式概念适配器的 无需训练 黎曼融合

在 模型训练 快速发展的领域中，人们对参数高效的 微调 以及使用少量训练数据使模型适应狭窄任务的各种技术始终抱有实际兴趣。然而，有一个悬而未决的问题：如何将针对不同任务调整的多个适配器组合成一个能够在两项任务上产生足够结果的适配器？具体来说，生成模型的主题和风格适配器的合并仍未解决。在本文中，我们试图证明，在正交 微调 (OFT) 的情况下，我们可以使用结构化正交参数化及其几何属性来获得 无需训练 适配器合并的公式。特别是，我们推导了最近提出的 Group-and-Shuffle ($\mathcal{GS}$) 正交矩阵形成的流形结构，并获得了两点之间测地线近似的有效公式。此外，我们提出了一种 $\text{spectrarestore}$ 变换，可以恢复合并适配器的光谱属性，以实现更高质量的融合。我们在主题驱动的生成任务中进行了实验，表明我们合并两个 $\mathcal{GS}$ 正交矩阵的技术能够统一不同适配器的概念和风格特征。据我们所知，这是第一个用于合并乘法正交适配器的 无需训练 方法。代码可通过 $\href{https://github.com/ControlGenAI/OrthoFuse}{link}$ 获取。