论文

XMark:为 LLM 生成的文本提供可靠的多位水印

XMark: Reliable Multi-Bit Watermarking for LLM-Generated Texts

模型推理解码与生成控制

摘要

多位水印已成为一种很有前途的解决方案,用于将难以察觉的二进制消息嵌入到 大语言模型 (LLM) 生成的文本中,从而实现对 LLM 恶意使用的可靠归因和跟踪。尽管最近取得了进展,现有方法仍然面临关键限制:有些方法对于大型消息在计算上不可行,而另一些方法则在文本质量和解码准确性之间权衡不佳。此外,当生成文本中的标记数量有限时,现有方法的解码精度会显着下降,这种情况在实际使用中经常出现。为了解决这些挑战,我们提出了 \textsc{XMark},一种在 LLM 生成的文本中编码和解码二进制消息的新方法。 \textsc{XMark} 编码器的独特设计为水印词元生成生成失真较小的 logits 分布,保持文本质量,并且还使其定制的解码器能够使用有限的词元可靠地恢复编码消息。跨不同下游任务的广泛实验表明,\textsc{XMark} 显着提高了解码精度,同时保留了水印文本的质量,优于先前的方法。代码位于https://github.com/JiiahaoXU/XMark。