TTM-Bench：文本转音乐系统性能基准测试框架

文本转音乐 (TTM) 系统越来越多地用于根据自然语言描述生成音乐音频。因此，稳健的评估至关重要，但可靠的性能比较仍然具有挑战性。这种困难源于系统架构、支持的调节信息和访问模式的差异，以及无法跨系统统一应用的异构和碎片化指标。为了应对这些挑战，我们引入了 TTM-Bench，这是一个框架，它定义了当代 TTM 系统的系统性、可重复性能基准测试的通用协议。它从两个维度评估表现：音乐内容对齐，通过可解释的语义、流派和音乐描述符一致性分数根据通用音乐规范进行量化，并通过总分进行总结；计算效率，以生成延迟和实时因素为特征，以及本地模型的资源使用和托管服务的成本。我们通过初步的比较案例研究展示了该框架，说明了这些维度捕获的补充证据。结果表明，较高的音乐内容一致性并不系统地与较低的计算需求相一致，这凸显了通过独特的、可解释的措施而不是简化的总体指标来评估 TTM 性能的重要性。