论文

用情境知识缓解SMEs中的错误信息:基于RAG的建模与分析

Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs: A RAG-based Modeling and Analysis

模型评测鲁棒性、公平性与可信度评测

摘要

大语言模型(LLMs),是人工智能(AI)的一部分,正越来越多地被中小企业(SMEs)用于增强问题回答能力和支持业务决策过程。然而,LLM生成输出中的幻觉可以成为误导信息的来源,降低用户对其可靠性和可信度的信心,特别是在中小企业环境中。检索增强生成(RAG)作为一种解决这一挑战的方法,通过将外部知识源纳入模型过程中,已经显示出巨大的潜力。在这篇论文中,我们提出了VectorRAG和GraphRAG模型,以减轻幻觉和误导信息的风险,并评估其在中小企业环境中的有效性。我们的实验评估是在多个最先进的LLM上进行的,包括LLaMA、Mistral和Qwen,以评估其在有用响应生成、幻觉风险、上下文相关性以及人类解释性方面的性能。结果表明,RAG增强的LLM可以显著提高响应质量,通过减少幻觉和误导信息,从而支持更可靠的、可信的和上下文相关的决策在中小企业环境中。

用情境知识缓解SMEs中的错误信息:基于RAG的建模与分析:论文配图
图1:基于 RAG 的系统架构示意。