通过（高效）LLM 引导修剪获得更好的最近邻图索引

基于图的近似最近邻搜索（ANNS）广泛用于大规模语义搜索。其索引主要基于输入数据集（例如文档或图像）嵌入之间的几何关系构建，而不是显式优化语义相关性。然而，当使用这些索引进行下游查询检索时，性能是根据检索结果与查询的语义相关性来评估的。这在索引的构建方式和检索结果的评估方式之间造成了根本的“几何语义”不匹配。虽然现有的基于 LLM 的重新排名方法可以部分缓解查询时的这种不匹配问题，但它们在图中并未解决这一潜在的结构问题。因此，我们提出了 LLM 引导图修剪（LGP），这是一个通用框架，通过利用 LLM 推理来完善现有的 ANN 图索引本身，直接解决这种不匹配问题。 LGP 识别结构上“低价值”的节点邻居，并用 LLM 选择的替代方案替换它们，这些替代方案提供有用的语义信息，同时保留原始图所需的几何结构，包括稀疏性和高效的可导航性。对代表性语义检索基准的实验表明，与普通贪婪图搜索和广泛使用的基于图的 ANN 索引（例如 DiskANN 和 HNSW）中基于 LLM 的重新排名相比，LGP 始终如一地提高了端到端检索性能。