ROGLE：鲁棒的全球-本地协调与基于文本的人员搜索的自动区域监督

基于文本的行人搜索（TBPS）旨在使用自然语言查询检索行人图像。然而，现有的 TBPS 模型，尤其是基于 CLIP 的模型，由于简短文本描述训练中继承的全局表征偏差和语义稀疏性，难以进行细粒度的理解。这导致细粒度对齐较弱，区域级注释的稀缺加剧了这种情况。为了解决这个问题，我们提出了 ROGLE（鲁棒全局局部嵌入），这是一个统一的框架，通过自动区域到句子匹配（RSM）策略克服了对昂贵的手动注释的依赖。 RSM 自动挖掘伪区域句子对，以实现可扩展的细粒度监督。此外，ROGLE 采用多粒度学习策略，将全局对比学习与区域级局部对齐相融合。我们还介绍了 P-VLG 基准，这是一个通过从已建立的公共基准中整理和丰富图像而构建的大型数据集。它具有超过 100,000 个带注释的区域和丰富的长格式标题，使其成为第一个支持全球和本地评估协议的 TBPS 基准。大量实验表明，ROGLE 的性能显着优于现有方法，特别是在具有挑战性的长格式查询方面。代码和 P-VLG 基准测试将公开。