SDO：面向多适配器组合的子空间去冲突算子

摘要

在共享扩散骨干网络中组合独立训练的适配器，为多角色生成提供了一种模块化方法，但简单的联合部署常常导致身份混合、跨角色属性泄漏和不稳定的场景构成。我们从参数空间的视角研究这种干扰，并假设它部分源于共享层中重叠主导子空间之间的冲突。为解决这一问题，我们提出SDO（Subspace Deconflicting Operator），一种面向多适配器组合的子空间去冲突算子。SDO从所选适配器重建层级低秩更新，提取紧凑的子空间签名，通过输出子空间重叠度度量成对冲突，并应用一个置换等变变换，在抑制有害共享方向的同时保留身份特定特征。所得表示被映射回标准适配器更新，并可直接融入现有的扩散推理流水线。实验表明，SDO持续提升身份保真度和组合稳定性，且随着联合组合的适配器数量增加，收益尤为明显。

SDO：面向多适配器组合的子空间去冲突算子：论文配图 — 图1. 在 Flintstones 多角色生成上联合激活 2 至 5 个 adapter 的定性比较。每行对应递增的角色数量，每列比较不同的组合方法。红框标出典型失败案例，如身份混淆与属性泄漏。随着场景复杂度增加，朴素合并与已有方法逐渐遭受身份保真度下降和跨角色干扰。相比之下，SDO 始终保持角色身份、提升分离度，并维持连贯的多角色互动。