RealDiffusion：用于多角色故事书生成的物理通知注意力

虽然现代扩散模型擅长生成多样化的单一图像，但将其扩展到顺序生成揭示了一个根本性的挑战：平衡叙事活力与多角色连贯性。现有的方法常常在这种权衡中犹豫不决，导致角色失去身份或故事停滞不前。为了解决这种关键的紧张关系，我们引入了 RealDiffusion，这是一个统一的框架，旨在协调强有力的连贯性与叙事活力。热扩散充当耗散先验，对沿序列的相邻特征进行平均并消除主题区域内的高频噪声。这抑制了属性漂移并稳定了跨帧的身份。然后，区域感知随机过程引入小扰动，探索附近模式并防止崩溃，以便故事保持姿势变化和场景演变。因此，我们引入了一种轻量级的、无需训练 物理通知的注意力机制，该机制在推理过程中将可控的物理先验注入到自注意力层中。通过将特征演化建模为可配置的物理系统，我们的方法规范了时空关系，而不抑制有意的、提示驱动的变化。大量实验表明，RealDiffusion 在保持叙事活力的同时，在人物连贯性方面取得了实质性进展，优于最先进的方法。代码可在 https://github.com/ShmilyQi-CN/RealDiffusion 获取。