使用视觉语言模型推进网络规模搜索的相关性测量

相关性评估在个性化搜索系统中发挥着至关重要的作用，与用户参与度指标一起充当护栏，以确保搜索结果与用户查询和意图保持一致。虽然人工注释是相关性评估的传统方法，但其高成本和长周转时间限制了其可扩展性。在这项工作中，我们提出了一个基于 VLM 的自动相关性评估管道，部署在 Pinterest 搜索中，用于在线 A/B 实验。我们严格验证了 VLM 生成的判断与人类注释之间的一致性，证明 VLM 可以为实验提供可靠的相关性测量，同时大大提高评估效率。利用基于 VLM 的标签进一步释放了扩展查询集、优化采样设计以及大规模有效评估更广泛搜索体验的机会。这种方法可以带来更高质量的相关性指标，并显着降低在线实验测量中的最小可检测效应（MDE）。