BiTDiff：通过 BiMamba-Transformer 扩散生成细粒度 3D 传导运动

3D 指挥动作生成旨在从音乐中合成细粒度的指挥动作，在音乐教育、虚拟表演、数字人类动画和人类与人工智能共同创作方面具有广泛的潜力。然而，由于两个主要挑战，这项任务仍未得到充分探索：(1) 缺乏大规模细粒度 3D 传导数据集；(2) 缺乏能够共同支持高质量和高效长序列生成的有效方法。为了解决数据限制，我们开发了一个面向质量的 3D 传导运动收集管道，并构建了 CM-Data，一个细粒度的 SMPL-X 数据集，包含约 10 小时的传导运动数据。据我们所知，CM-Data 是第一个也是最大的 3D 运动生成公共数据集。为了解决方法上的限制，我们提出了 BiTDiff，这是一种用于 3D 运动生成的新颖框架，它建立在 BiMamba-Transformer 混合模型架构之上，用于高效的长序列建模，以及基于扩散的生成策略，具有人体运动学分解，用于高质量的运动合成。具体来说，BiTDiff 引入了辅助物理一致性损失和手/身体特定的正向运动学设计，以实现更好的细粒度运动建模，同时利用 BiMamba 进行内存高效的长序列时间建模，并利用 Transformer 进行跨模式语义对齐。此外，BiTDiff支持无需训练联合级动作编辑，支持下游人机交互设计。大量的定量和定性实验表明，BiTDiff 在 CM-Data 数据集上进行 3D 运动生成时实现了最先进的 (SOTA) 性能。代码将在接受后可用。