论文
精神损害:对检索增强文本到音乐生成的字幕中毒攻击
Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation
摘要
检索增强的文本转音乐 (TTM) 系统使用从音乐字幕数据集中检索的字幕来增强未指定的用户提示。该设计引入了对音乐知识数据库的完整性依赖。我们表明,攻击者可以通过注入少量精心制作的音乐字幕来毒害数据库,导致系统检索恶意字幕,这些字幕会影响提示增强并引导生成远离用户的预期功能,而无需修改用户提示、检索器 或生成器。为了实现音乐字幕中毒攻击,我们提出了一种双层字幕中毒策略,该策略保留高级检索锚点,同时注入低级声学描述符以引导提示增强和下游音乐生成朝向攻击者选择的目标意图。在 MusicCaps 知识数据库、CLAP 检索器 和 MusicGen 管道中,中毒的世代明显更接近攻击者的目标,同时与原始用户查询保持相对一致。这些结果暴露了检索增强型创意人工智能系统的实际完整性风险。我们的演示可以在:https://yizhu-wen.github.io/Mental-Damage/