正如我们所寻找的

个人文档、法律文件和医疗记录中的敏感信息是最有价值的搜索内容之一，但当前的检索增强生成系统仍然需要将内容发送到远程服务器。我们提出本地优先 IR，这是一种设计理念，其中索引、模型和推理驻留在用户设备上，将远程服务视为可选。本文做出了四个贡献：(1) 沿着三个维度组织检索架构的框架：隐私和控制、功能和可访问性；(2) 在五个基准上对消费者硬件进行实验，通过密集检索、BM25 和混合融合从 1K 扩展到 1M 文档。密集检索保留超过 91% nDCG@10 最多 100K 文档，近似 HNSW 索引将其扩展至 1M，质量损失仅为 2%； 7B 本地语言模型在答案质量上达到云基线的 4 个点以内，(3) 基于实验证据的支持和反对本地优先 IR 的竞争观点，以及 (4) 识别开放问题的研究议程。真正的权衡是范围而不是质量：重要的是你可以搜索什么，而不是你搜索得有多好。