论文

克服RAG的“不切实际”:提出现实世界的基准和多维诊断框架

Overcoming the "Impracticality" of RAG: Proposing a Real-World Benchmark and Multi-Dimensional Diagnostic Framework

模型评测基准与评测资源

摘要

企业环境中检索增强生成(RAG)系统的性能评估受到多维和复合因素的控制,远远超出了简单的最终准确性检查。这些因素包括推理复杂性、检索难度、文档结构的多样性以及对操作可解释性的严格要求。现有的学术基准无法系统地诊断这些相互关联的挑战,从而导致实现高性能分数的模型无法满足实际部署中预期的可靠性的严重差距。为了弥合这种差异,本研究提出了一个多维诊断框架,定义四轴难度分类并将其集成到企业 RAG 基准中以诊断潜在的系统弱点。