直方图约束图像生成

扩散模型已成为生成建模中的主导范例，可以从复杂的数据分布中进行高保真采样。尽管功能令人印象深刻，但控制扩散模型以产生与用户意图一致的输出仍然是一个开放的挑战，特别是在平衡全局一致性与局部精度时。现有的控制机制在其调节信号的粒度上有所不同。例如，文本提示通过高级语义指导全局生成，而类似 ControlNet 的方法通过密集条件确保精确的局部结构。在这项工作中，我们介绍了直方图约束图像生成（HIG），这是一种新颖的控制机制，属于控制粒度的中间立场。我们的框架在生成过程中以精确的精度强制执行用户指定的分布约束（例如颜色直方图或潜在词元分布）。我们将此类控制建模为最优传输（OT）问题，并在采样期间应用显式引导变换，从而驱动扩散轨迹与所需的直方图对齐。我们展示了 HIG 在不同应用中的多功能性，包括通过颜色/潜在直方图进行约束生成以及通过直方图级编码进行高容量信息嵌入。我们的研究结果强调了分布式控制的前景，这是一种灵活且可解释的控制方案，与现有的控制机制完全兼容，使可控图像生成的混合策略多样化。我们的项目页面位于：https://maps-research.github.io/hig/。