RAGe：检索增强生成评估框架

由于高计算需求、过时的知识库以及需要手动选择最佳管道组件，部署 大语言模型 (LLM) 应用程序，特别是那些依赖于检索增强生成 (RAG) 的应用程序，仍然具有挑战性。在这项工作中，我们提出了一个模块化框架，通过关注资源遥测和组件推荐来对 RAG 应用程序进行基准测试和指导高效开发，为特定领域的数据集建议最佳组件。我们的方法利用 LLM 应用程序中的核心技术（包括文档分块、向量数据库、嵌入模型和 检索器）来评估准确性、效率和可扩展性之间的权衡。通过直接将检索和生成质量与底层硬件限制相关联，RAGe 支持研究人员针对其特定操作需求确定最有效、特定领域的 RAG 设置，甚至在消费级硬件上也能促进快速原型设计。