沙丘社区
论文

音乐生成归因：追踪输入并验证输出影响

Tracing Inputs, Verifying Outputs: Validating Attribution in Music Generation

Taejun Kim, Wonil Kim, Jongmin Jung, Hyeongseok Wi, Sangeun Kum, Keunhyoung Luke Kim, Taehyoung Kim, Dongjoo Moon, Seungsoon Park, Taewan Kim, Virginie Berger, Juhan Nam, Jongpil Lee
模型评测应用与实践评测方法与指标安全与风险评测内容创作

摘要

我们如何验证谁的音乐对人工智能生成的输出做出了贡献？本文演示了基于输入的归因如何提供可验证的证据，证明一代人使用了哪些音频源以及它们是否塑造了输出。为此，我们仅根据音频进行生成，无需任何文本输入，然后跟踪每个输出背后的输入，并确定其音乐效果。在提示依从性测试和受控输入交换中，我们的生成器 MixAudio 生成的主干在音色上遵循提示音频，并且与上下文音频和谐一致。然而，这些输出仍然可以重现未作为输入提供的训练数据。因此，我们使用我们的音乐版本识别模型 musicDNA 来审核记忆，并在输入记录之外发现很少的复制品。在标记池内的人工判断案例中，它比其他测试的记忆检测器实现了更高的精度和召回率。两项评估表明，输入记录和输出分析为归因提供了补充证据，权利人的报告和补偿可以作为人工智能的参考依据。 音乐经济初具规模。音频示例可在 https://neutune.github.io/attr2027demo/ 获取

音乐生成归因：追踪输入并验证输出影响：论文原图
图 3：记忆指标的检测性能。每个人工判断的茎各有一个点，由所有六个探测器打分。行遵循图 2 的类别，颜色相同：彩色点是已确认的记忆（类型 I、A），灰色点不是已确认的记忆（B、C）。更类似的是右边，虚线是每个检测器的检测阈值。空行（灰色带）标记了机会级别的相似性：未见过的验证词干的分数范围为 5-95%。行内的垂直抖动没有任何意义。