论文

Quanta:一个独立的 Python 库,用于量化嵌入、词汇索引和知识图的混合检索

Quanta: A Self-Contained Python Library for Hybrid Retrieval over Quantised Embeddings, Lexical Indexes, and Knowledge Graphs

上下文与知识检索增强

摘要

高级检索增强生成管道通常由三个或四个独立操作系统组成:近似最近邻索引、全文搜索引擎、图形数据库和关系文档存储。每个项目都贡献自己的部署表面、配置模型和故障模式,并且在每个项目中重新编写绑定它们的集成逻辑。在这项工作中,我们提出了 \textsc{Quanta},一个开源 Python 库,它将 4 位量化嵌入上的密集向量搜索、BM25 全文检索和知识图谱遍历统一到单个检索 API 后面。广达做出了两项设计承诺,使其与现有的混合检索堆栈区分开来。首先,信号通过\emph{加权倒数排名融合}进行组合,而不是通过将异质分数归一化到共享范围内,我们认为这是不适定的,因为这种归一化是依赖于查询的。其次,该图是一个 \emph{候选扩展器,而不是相关性评分器}:遍历扩大了候选池,并且新承认的文档由标识符白名单下的密集索引重新评分,因此结构邻接决定了考虑的内容,而内容证据决定了它如何排名。