论文

InterCMDM:用于自回归人类交互生成的块因果扩散

InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation

应用与实践内容创作

摘要

以文本为条件的人类交互生成必须捕获每个人内部的长期时间因果关系以及合作伙伴之间紧密耦合的协调。现有的交互扩散模型通常使用双向注意力对整个序列进行去噪,这模糊了因果关系并阻碍了流式传输和长视野生成。自回归替代方案加强了因果关系,但经常遭受时间漂移,导致协调退化和不稳定的交互动态随着时间的推移。我们提出了 InterCMDM,一种用于自回归两人交互生成的块因果潜在扩散框架。 InterCMDM 引入了双流因果扩散 Transformer,它为每个人维护单独的因果流,同时通过统一的双流注意力和多任务注意力掩模来建模人与人之间的依赖关系。这些掩模将交互模型统一在单一注意力机制内,并支持不同的协调行为,包括同时动作、反应性响应、领导者-追随者动态和独立运动。通过在这些掩码配置上训练单个模型作为数据增强的形式,InterCMDM 只需在推理时选择所需的注意掩码即可实现可控的交互生成。最后,分块扩散目标能够在长序列上实现稳定的潜在轨迹展开,而无需重复的解码-编码循环。 InterCMDM 在 InterHuman 和 Inter-X 上实现了最先进的性能,改善了文本运动对齐、真实感和长视野连续性。