论文
DenMark:用于扩散语言模型的鲁棒语义水印
DenMark: Robust Semantic Watermarking for Diffusion Language Models
摘要
语义文本水印对信号进行意义编码,而不是表面标记选择,为释义和其他语义保留编辑提供稳健性。现有的语义水印方法主要是为自回归语言模型(ARLM)设计的,可以在生成之前生成完整的候选单元并对其进行评分。这种范式并不自然地扩展到扩散语言模型(DLM),其中语义单元在中间去噪步骤期间保持不完整,并且标记可以以灵活的顺序更新。我们提出了 DenMark,一种语义水印框架,可将依赖于密钥的信号直接注入 DLM 去噪过程。 DenMark 将输出划分为固定标记区域,并使用临时采样轨迹作为语义前瞻:条件完成估计不完整区域的最终语义,使 DenMark 能够选择具有更高估计语义水印分数的本地更新。在去噪步骤中重复此过程会逐渐在最终输出中积累水印证据。为了进行检测,DenMark 对候选单元大小使用校准扫描,以保持对语义攻击引起的边界变化的鲁棒性。在四个 DLM、三个数据集和四种语义攻击中,DenMark 在所有 48 个骨干数据集攻击组合中的所有报告检测指标中均取得了最佳结果。这些结果表明,DenMark 为 DLM 中的鲁棒语义水印提供了有效的机制。