见过、说过、还是忘记了？跨对话轮次的视觉 KV 记忆的因果审计

有状态的多模态助手会对图像进行一次编码，但可能会在多次之后回答有关该图像的问题。注意力引导的视觉 KV 驱逐假设现在不相关的证据仍然是可有可无的，尽管未来的问题是未知的。我们询问视觉事实何时可以真正安全地忘记，并引入因果视觉记忆审核（CVMA），这是一个配对的单预填充框架，用于测试当视觉区域、整个图像或先前的辅助文本不可用时，后续答案会丢失什么。在 VisDial 和 ConvBench 上，即使诊断边际效用控制显示出巨大的选择空间，当前的注意力也可能将未来有用的区域排列得比随机区域更差。当后面的回合不需要视野时，总分数会隐藏这种失败；受控和库存生成的历史揭示了第二条逃生路线，其中对于已经陈述的事实，辅助文本 KV 取代了图像 KV，但对于未陈述的事实则不可靠。在经过测试的堆栈中，安全遗忘是由较低的未来视觉依赖或特定事实的语言表达支持的，而不是由较低的当前注意力支持。