向量检索几何可行不代表查询编码器容易学习

高效向量检索同时需要可通过相似度取回正确文档的语料几何，以及能把查询映射到目标文档附近的查询编码器。近期研究通过实现n个文档全部top-k答案集合所需的最小嵌入维度，分析几何容量。我们研究另一概念，即冻结文档索引的最大可达召回，并考察学习到的编码器能否达到上限。在多个真实检索基准上，单向量查询编码器质量常远低于索引容量。受此启发，我们给出查询编码器学习可能计算困难的理论证据：构造一个检索任务，完美召回编码器可由小型单隐层ReLU网络表示，但任何统计查询学习器，即通过聚合统计访问训练数据的算法，为获得超过随机k/n基线的非平凡召回优势，都可证明需要指数数量的统计查询。结果提示检索基准中存在大量未实现几何容量，并将查询编码器可学习性确立为嵌入检索的潜在障碍。