超越领域级适应：个性化联合视觉语言模型的面向边缘的语义外观交互校正

联合参数高效微调使分布式客户端能够适应预先训练的视觉语言模型，而无需共享原始数据或更新完整的主干网。然而，其有效性受到客户端领域异构性的限制。现有的个性化方法将全球共享的知识与客户特定的风格分开，但它们在很大程度上将每个领域视为与类别无关的转换。我们证明这种抽象是不够的：与固定域相关的跨域位移在不同语义类之间变化，并且只有这些类域残差的子集会损害图像文本决策边际。因此，我们提出了面向边缘的语义外观交互校正（MOSAIC），它首先构建一个决策感知的危害性评分，衡量训练派生的类域残差是否更倾向于竞争文本原型而不是真实的类。然后，它使用低秩残差适配器对细粒度的类域交互进行建模，该适配器的类因子和残差基础是全局共享的，而域因子仍然是客户端私有的。图像调节门进一步控制候选校正，有害对感知重新加权在局部优化期间优先考虑决策相关残差。在 Office31、OfficeHome 和 DomainNet100 上进行的大量实验表明，MOSAIC 在所有评估的域移位和联合域标签移位设置中持续提高了宏客户端 top-1 准确性。