论文

CVE-SAI:反事实视觉证据引导的选择性属性索引,实现风险可控的电商搜索

CVE-SAI: Counterfactual Visual Evidence-Guided Selective Attribute Indexing for Risk-Controlled E-commerce Search

摘要

多模态商品模型可以补全缺失的电商属性,但现有方法仍在未验证视觉支持的情况下优化属性答案准确率,将瞬时预测与持久索引准入混为一谈,并且对事实错误或视觉上无支持的取值缺乏显式风险控制。我们用反事实视觉证据引导的选择性属性索引(CVE-SAI)填补这些空白:它首先从主图和属性问题中推断并冻结一个本体约束的候选值(不使用目录文本),然后决定该候选是否应进入索引。聚焦区失真(FZD)通过受控反事实干预构造特定属性的视觉依赖代理,证据引导的注意力重分配(EGAR)用该代理来改进本体约束的评分。规范候选在证据必要性、证据保留、干扰变换稳定性和候选特定目录文本冲突审计之前被冻结;目录文本只能收紧准入,不能修改候选。独立的族级校准在5%不安全准入预算下,通过同时单侧有限样本界选出一个策略。在源自Amazon Berkeley Objects的五个视觉属性上的实验表明,CVE-SAI改进了属性推断和证据定位,在共享风险协议下取得最高的认证准入覆盖,并在自动准入系统中取得最强的受控检索性能和最低的不安全自动暴露。因此,将推断与准入分离使有视觉支持的属性补全能够在限制持久索引污染的同时改善检索。

CVE-SAI:反事实视觉证据引导的选择性属性索引,实现风险可控的电商搜索:论文配图
图1:CVE-SAI概览。给定主图像、属性问题与冻结本体,FZD构建属性特定的视觉依赖代理 E,EGAR重新分配视觉注意力以细化本体约束的分数。所得规范候选在证据必要性、证据保留、干扰变换稳定性与候选特定目录文本冲突审计之前被冻结。独立校准在5%风险预算与最小准入要求下选择准入策略;只有被准入的值进入隔离的自动属性字段用于检索。