论文
IVF-TQ:通过无码本残留层进行无校准流矢量搜索
IVF-TQ: Calibration-Free Streaming Vector Search via a Codebook-Free Residual Layer
摘要
针对流式语料库部署的近似最近邻 (ANN) 索引在数周内悄然失去了召回率。标准诊断是分布偏移,但在 shuffled-i.i.d. 下。摄取——根本没有变化——在次匹配的比特预算下,产品量化仍然下降-3.8pp。主要的生产压缩方法(PQ、OPQ、ScaNN)都将码本拟合到初始样本,并在数据库按数量级增长时重复使用它。本文提出了 IVF-TQ,一种倒排文件索引,其残余压缩层与数据无关:固定随机旋转,后跟仅由位宽 b 和维度 d 参数化的预计算 Lloyd-Max 标量量化器。仅训练 IVF 粗 k 均值分区。仅依赖于 (b, d, delta) 的均匀球内积误差界限提供了学习码本方法所不允许的结构保证。相同的无码本设计可实现 IVF 放大效果,将与扩展 RaBitQ 的差距缩小到统计噪声范围内(在匹配的比特预算下,比平坦 TQ + 17.7pp),并且自适应变体可在不触及压缩层的情况下刷新分区。在 9 个受控单元(三个 10M 数据集、三个 PQ 内存机制、三个种子)中,每批次 PQ 码本重新训练永远无法恢复流间隙; IVF-PQ 流稳定性需要每个数据集的位预算调整,而 IVF-TQ 在所有三个数据集上保持一种固定 (b, d) 配置,Delta 为 [-0.80, +0.56]pp。该贡献是可操作的:没有要训练的密码本,没有每个数据集的比特预算调整,没有缩小差距的再训练周期。