论文
具有分歧感知重排序的异构视觉语言集成,用于基于文本的人物异常检索
Heterogeneous Vision-Language Ensemble with Disagreement-Aware Reranking for Text-Based Person Anomaly Retrieval
摘要
基于文本的行人异常检索旨在使用自然语言描述从大型图像库中检索表现出异常行为的行人。与传统的基于文本的人物检索相比,该任务需要对行人的外观、行为、物体交互和场景上下文进行细粒度推理,这使得鲁棒的跨模态匹配更具挑战性。本文介绍了 GENAI4E 团队针对 AI 城市挑战 2026 Track 4 的解决方案。我们的框架建立在强大的检索主干之上,并通过分数对齐和迭代集成融合逐步集成异构视觉语言嵌入模型,然后针对不明确的查询进行分歧感知 VLM 重新排名。在官方行人异常行为 (PAB) 基准上,我们的方法实现了 90.92% mAP、85.13% Recall@1、97.72% Recall@5 和 98.68% Recall@10,证明了将互补视觉语言表示与选择性多模态推理相结合进行大规模基于文本的人体异常检索的有效性。