论文

ReSAGE-PAR:行人属性识别中生成扩展的表征相似性评估

ReSAGE-PAR: Representational Similarity Assessment for Generative Expansion in Pedestrian Attribute Recognition

模型训练合成数据

摘要

为了解决行人属性识别(PAR)中有限的多样性和数据稀缺性,我们探索使用基于属性的提示引导的扩散模型进行图像合成。虽然这使得行人图像的受控生成成为可能,但它面临着两个关键挑战:(i) 高质量 预训练 数据与低分辨率、非标准监视作物之间的域差距,以及 (ii) 需要可靠的属性验证以防止生成幻觉。在本文中,我们介绍了一种名为 ReSAGE-PAR(PAR 生成扩展的表征相似性评估)的强大生成评分自动标签管道,它弥补了这一领域差距并实现了可扩展的高保真数据集扩展。首先,我们使用基于 LoRA 的定制图像到图像方法将预训练的扩散模型调整为原始 PAR 分辨率。其次,我们利用包括标签一致和不一致补充的综合提示策略,提取生成的图像及其条件提示之间的视觉语言对齐分数。最后,我们制定了一个贝叶斯分类器,将这些连续分数转换为可靠的二进制伪标签。广泛的评估证明了 ReSAGE-PAR 在保留空间先验和验证属性方面的有效性。当集成到 PAR 训练中时,ReSAGE-PAR 持续产生显着的改进,在标准骨干上实现高达 8.7% 的增益,并将最先进的框架推向新的性能水平。这证明了其作为可扩展 PAR 增强的架构无关解决方案的价值。 ReSAGE-PAR 的完整代码库可在 http://www-vpu.eps.uam.es/publications/ReSAGE-PAR 上公开获取。