论文

青睐:基于选择性感知排除距离的高效滤波器无关矢量人工神经网络系统

FAVOR: Efficient Filter-Agnostic Vector ANNS Based on Selectivity-Aware Exclusion Distances

AI 基础设施向量数据库

摘要

现代检索系统越来越需要将近似最近邻搜索 (ANNS) 与复杂属性过滤相集成,以处理推荐系统和检索增强生成 (RAG) 等应用中的混合查询。虽然基于 HNSW 的内联过滤方法显示出良好的前景,但现有方法很难在低选择性场景下提供高吞吐量,同时平衡搜索效率、过滤通用性和索引连接性。为了应对这些挑战,我们提出了 FAVOR,一种与过滤器无关的高效向量 ANN,它支持任意过滤条件,同时在不同的选择性水平下保持稳定的性能。 FAVOR 引入了三个新颖的功能:(1) 统一选择性估计和过滤 ANNS 执行的集成架构,为混合向量属性查询提供内聚的解决方案; (2)基于HNSW的内联过滤算法,引入排除距离机制来动态重塑向量距离分布,将非目标向量推离查询,同时将有效候选向量推向查询,从而在不影响通用性或图连通性的情况下提高搜索效率; (3) 选择性驱动的搜索选择器,用于估计查询选择性,并在针对低选择性情况的预过滤强力算法和针对其他场景的优化的基于 HNSW 的搜索算法之间动态路由查询,从而确保一致的性能。对真实世界数据集的大量实验表明,与任意过滤条件下最先进的方法相比,FAVOR 在 $Recall@10 = 95\%$ 时实现了 1.3-5$\times$ 高的 QPS,同时即使在某些过滤条件下针对定制解决方案也能保持竞争性能。