论文

AquiLLM:支持科研团队隐性知识沉淀的RAG-LLM架构

AquiLLM: An Architecture for Supporting Tacit Knowledge Capture in Research Groups

上下文与知识检索增强

摘要

检索增强生成(RAG)与大语言模型(LLM)的近期进展使研究者能够将AI整合进科学工作流程。然而,使用专有商业AI系统会引发对透明度、可复现性与隐私的担忧,而这些对科学实践至关重要。为此,AquiLLM被开发为一个采用开放权重模型的开源模块化RAG-LLM框架,旨在支持科研团队沉淀隐性知识。在本工作中,我们展示了对AquiLLM的一系列架构改进与功能增强,包括本地嵌入与重排序、多模态能力、OpenAI兼容的推理接口、用户界面改进、语义与情景记忆能力以及技能支持。这些增强源自与领域专家(包括天体物理学家和环境研究者)的讨论,代表着向更贴合科学研究实践的AI系统迈出的一步。

AquiLLM:支持科研团队隐性知识沉淀的RAG-LLM架构:论文配图
图1:AquiLLM架构。后台工作进程负责文档解析并将其索引到共享存储中,而运行时请求则经过提示编排层,由其协调检索、记忆与工具使用。模型推理通过vLLM在本地提供,聊天、嵌入、重排序与多模态处理各由独立组件承担。