注意，我可以听听你的决定吗？扩散模型中的本地化生成选择

文本到图像的扩散模型表现出卓越的生成能力，但其内部操作仍然不透明，特别是在处理不完全描述性的提示时。在这种情况下，模型必须做出隐式决策来生成文本中未明确指定的详细信息。这项工作研究了这样一个假设：该决策过程不是分散的，而是在模型架构内计算本地化的。虽然现有的定位技术侧重于与提示相关的干预，但我们注意到这种显式调节可能与隐式决策不同。因此，我们引入了一种基于探测的定位技术来识别概念属性可分离性最高的层。我们的研究结果表明，模糊概念的解决主要由自我关注层控制，将其确定为最有效的干预点。基于这一发现，我们提出了 ICM（隐式选择修改）——一种精确的引导方法，将有针对性的干预应用于一小部分层。大量实验证实，与现有最先进的方法相比，对这些特定的自注意力层进行干预可以产生卓越的去偏性能，从而最大限度地减少不太精确的方法中常见的伪影。该代码可在 https://github.com/kzaleskaa/icm 获取。