论文
CSFlow:使流量匹配与人类对比度敏感度保持一致
CSFlow: Aligning Flow Matching with Human Contrast Sensitivity
摘要
我们引入了对比敏感流(CSFlow),这是一种将人眼的对比敏感度函数(CSF)与流匹配的迭代去噪步骤连接起来的加权方案。由于现实世界图像将信号集中在低空间频率,因此这些分量在连续扩散过程中比高频分量更早达到高信噪比。当使用扩散或流量匹配模型生成图像时,这会在傅里叶空间中产生软自回归结构,其中粗略的图像内容在精细细节之前稳定。同时,人类视觉系统对空间频率的敏感度不同:非常低和非常高的频率需要明显更高的对比度才能被感知。我们首次通过两个贡献合并这些观察结果:(1)估计每个反向流间隔生成的频率的度量,以及(2)通过将每个噪声水平生成的频率与人类对比敏感度对齐而获得的时间步长权重。我们通过实验验证了我们的贡献,结果表明,使用仅推理时间步长修改或短 微调,这些权重可以通过将 FID 降低 4.7%、将 Inception 分数提高 2.2%、将 GenEval 分数提高 2.5% 来提高生成性能。定性地,我们发现我们的 CSFlow 权重可以带来更好的视觉真实感和更少的生成图像的卡通外观。