这是谁的记录?个性化多模态模型中记录使用的诊断与授权
Whose record is this? Diagnosing and authorizing record use in personalized multimodal models
摘要
情境化的视觉个性化可以检索真实的记录,但将其应用于错误的视觉主题。当记录可以将答案作为记录授权时,我们将其形式化:主题存在($P$)、记录边缘有效性($E$)和答案支持($S$)必须全部成立。我们将这种违规行为称为视觉记忆误绑定 (VMM)。我们构建了 RecordAuth-Diag,这是一个 3,690 例匹配的诊断套件,它可以更改一个图像记录边缘,同时保持查询、问题、记录文本和图像多重集固定。卡移除和随机数重新标记将这些失败归因于提供的记录。原始库故障跨越 Qwen、Phi 和 Gemma 系列接口:Gemma-3-4B-IT 本地未授权使用率达到 63.69%,干净召回率达到 25.75%。 CoViP 仍保持在 26.02%,而在类似的干净召回率下,其 Qwen 骨干网的这一比例为 22.49%。输入预生成授权将 Qwen 卡在 RecordAuth-Diag 上的曝光率从 43.63% 降低到 3.06%,而积极召回率从 86.26% 降低到 60.90%。完整的 $P\wedge E\wedge S$ 验证使用 560 个本地化 DAVIS 案例:top-1 相关性和类型化授权具有可比较的发布(28.93\% 和 28.39\%),但分别有 6.79\% 和 0.89\% 的不安全发布。在删除的 33 个额外不安全案例中,27 个是支持案例、4 个边缘案例、2 个干净案例和 0 个边界案例。因此,观察到的增量是由支持主导的 $E\wedge S$ 决策,而不是单独的边缘检查。外观提供 $E$ 证据仅以 $P$ 为条件;经过身份验证的主体Token将缺失的存在见证实例化为充分性控制。这些声明涉及评估的合同,而不是自然流行、同意或视觉识别
