论文
FaLCon:针对 Sim2Real 基于文本的人物异常搜索采用后期共识的分面锚定检索
FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search
摘要
基于文本的行人异常搜索需要使用主要在合成数据上训练的模型从详细的自然语言描述中检索现实世界的行人图像。此 Sim2Real 设置特别具有挑战性,因为视觉上相似的候选者可能仅在细微动作、对象交互或外观属性方面有所不同,而将多模态 大语言模型 应用于整个图库的计算成本很高。我们提出了一种锚约束从粗到细的检索框架,它将全局语义匹配与细粒度验证相结合。首先,每个查询由其原始标题、结构化串联和几个语义方面表示。然后通过强大的每个查询分数校准和软声明感知融合来集成异构视觉语言 检索器。完整和串联的标题作为锚点来保留候选者的回忆,而外观、动作和对象方面则提供有限的纠正证据。通过区分性 Qwen3 重新排序器和两个基于异常感知完型填空和多智能体证据推理的互补语义验证模块,进一步细化生成的候选池。最后,不确定性门控共识模块自适应地对模糊查询的三位专家重新加权。 PAB 基准测试表明,所提出的软声明感知检索达到了 86.44% mAP@10,大大优于单个检索主干。完整的框架将性能进一步提高至 95.41% mAP@10、94.44% R@1 和 99.09% R@5。这些结果表明,保留强大的全局检索,同时将昂贵的语义推理限制在小型候选池中,对于细粒度 Sim2Real 人物异常搜索是有效的。我们的代码将在 Github 上提供。