通过黑盒成员推理审核生成音乐模型中的训练数据

文本到音乐生成的最新进展使得结构化音乐音频的高保真合成成为可能，这引发了人们对数据来源​​、同意和训练透明度的日益关注。这些模型通常在大规模语料库上进行训练，几乎没有公开信息，因此没有实用的机制来验证特定音频样本是否包含在训练中。在本文中，我们研究了生成音乐模型的黑盒成员推理，旨在确定在仅对已部署系统进行查询访问的情况下，在训练期间是否使用了候选音乐样本。我们的主要见解是，训练成员资格可以系统地诱导候选样本和以其描述文本为条件的模型生成之间更强的语义和结构一致性。我们使用相关的描述文本查询目标模型，并在学习的特征空间中测量候选音频和生成的输出之间的关系。为了捕获区分会员和非会员的特征，我们构建了由每首曲目及其来自影子模型的描述文本条件生成组成的配对示例，并训练音乐审核员对会员进行分类。审核员捕获训练成员的对齐模式特征，并在完全黑盒设置中推广到看不见的目标模型，而无需访问模型参数或训练元数据。在多个最先进的音乐生成器中，我们的方法达到了高达 98.6% 的准确率，误报率和漏报率低至 1.9% 和 1.0%，这表明可靠的训练数据审核在实际部署场景中是可行的。