MG-Former：基于 Transformer 的音乐驱动 3D 传导手势生成框架

从音乐中生成富有表现力的指挥手势是一个具有挑战性的跨模式运动合成问题：输出必须遵循长程音乐结构，保持节拍级同步，并保持细粒度的 3D 人类表演的合理性。现有的传导运动研究通常受到稀疏姿势表示、小规模数据或评估协议的限制，这些协议不能直接测量音乐和手势是否相互对齐。本文介绍了 TransConductor，这是一个基于 Transformer 的框架，用于音乐驱动的指挥手势生成。我们引入了 ConductorMotion，这是一个 SMPL 参数数据构建管道，可以从指挥视频中恢复详细的身体运动，并形成针对专业指挥手势的数据集。给定从音频中提取的声学描述符和初始姿势，TransConductor 使用跨颞音乐编码器和跨颞传导手势解码器来自回归预测 SMPL 姿势参数。为了更好地评估艺术对应性，我们进一步构建了一个基于检索的评估模型，将音乐和手势嵌入到共享空间中，并产生 FID、模态距离、多模态距离和多样性指标。实验表明，TransConductor 的性能优于舞蹈生成和传导生成基线，而消融则验证了 Transformer 主干网和建议的对齐损失的优势。