论文
使用概念图的高效T2I扩散模型偏见缓解
Efficient bias mitigation in T2I diffusion models using Concept Graphs
摘要
文生图扩散模型常传播继承自训练数据的有害偏见。既有偏见缓解技术通常仅在文本编码器干预或提供推理时引导——常导致生成坍缩为语义不连贯的输出。为解决这些局限——我们引入CO-ALIGN（概念本体对齐）——基于概念图对齐的新型偏见缓解方法——作用于模型的内部概念本体。通过在文本编码器与去噪器内对齐概念——CO-ALIGN在保持生成完整性的同时实现大幅偏见削减。我们跨三种范式展示概念图对齐的有效性：文本编码器、去噪器与联合文本-去噪器本体对齐。CO-ALIGN超越最先进——公平性提升30%、图像质量ΔFID=11.4、图像保真度提升2.8%——同时将语义不连贯输出减少88%。除偏见缓解外——我们表明CO-ALIGN也惠及其他下游任务。特别地——我们的实验证明更好对齐的内部本体增强跨多种遗忘技术的概念遗忘鲁棒性。
