论文
保持公平!确保跨指导尺度的扩散模型的群体公平性
Stay Fair! Ensuring Group Fairness in Diffusion Models Across Guidance Scales
摘要
扩散模型通过可调节的指导尺度来引导条件生成,以权衡快速对齐和多样性。然而,现有的去偏技术是针对单一尺度进行优化的,当用户调整该参数时,会降低公平性。我们通过将总偏差分解为两个部分,将这种行为追溯到以前被忽视的来源:模型偏差和指导偏差。虽然之前的工作主要针对前者,但我们表明指导偏差随着指导规模单调增长,最终主导用户喜欢的高指导制度。为了解决这个问题,我们将强大的人口统计平等扩展到指导,并得出一个条件,在该条件下目标分布在指导范围内保持其群体比例。我们提出了 StayFair,它利用这种条件来设计两种制度下的公平引导算法。对于分类器指导,它均衡了分类器在组之间的输出分布;对于无分类器的指导,它通过提示相关的偏移量来改变空嵌入。由于 StayFair 仅修改指导步骤,因此它与模型去偏是正交的,并且可以分层到现有的公平扩散模型上,以将其公平性扩展到指导尺度上。在类条件和文本到图像的生成中,StayFair 将公平性与指导尺度解耦,而不牺牲图像质量。