论文
SIF：大型视觉语言模型的语义分布指纹
SIF: Semantically In-Distribution Fingerprints for Large Vision-Language Models
摘要
大型视觉语言模型（LVLM）的公众可访问性引发了对未经授权的模型重用和知识产权侵权的严重担忧。现有的所有权验证方法通常依赖于语义异常查询或分布外响应作为指纹，这些指纹很容易被对手检测和删除。我们通过语义分歧攻击（SDA）暴露此漏洞，该攻击通过测量可疑模型和参考模型之间的语义分歧来识别和过滤指纹查询，表明现有指纹不保留语义，因此很容易检测和绕过。为了解决这些限制，我们提出了 SIF（语义分布指纹），这是一种不需要参数修改的非侵入式所有权验证框架。 SIF 推出了语义对齐指纹 蒸馏 (SAFD)，它将文本水印信号传输到视觉模态中，以产生语义连贯但指纹化的响应。此外，鲁棒指纹优化 (RFO) 通过模拟最坏情况表示扰动来增强稳健性，使指纹能够适应 微调 和量化等模型修改。在LLaVA-1.5和Qwen2.5-VL上的大量实验表明，SIF具有很强的隐秘性和鲁棒性，为LVLM版权保护提供了实用的解决方案。代码可在 https://github.com/UCF-ML-Research/SIF-VLM-Fingerprint 获取