双层引导的自描述结构化数据：RAG的轻量级替代方案，用于大规模精确检索 LLM 知识导航

大语言模型 (LLM) 在处理长输入上下文时表现出有据可查的位置偏差：上下文窗口中间的信息比边界处的内容受到的关注要少得多，这种现象被称为迷失在中间效应 (Liu et al., 2024)。这限制了将大型结构化知识库直接嵌入到 LLM 上下文中的知识检索应用程序。检索增强生成 (RAG) 通过仅检索相关片段来解决可扩展性问题，但会引入大量的基础设施开销，并且不适合语义边界由人类定义而不是统计学习的库。我们提出了自描述结构化检索（SDSR），这是一个轻量级框架，其中结构化数据文件在文件的首要位置嵌入了人类编写的导航元数据，从而利用而不是对抗 LLM 的首要偏见。我们进一步提出了一种将文件内元数据与系统提示中的显式路由规则相结合的双层指导策略。我们通过四轮基准测试来验证 SDSR，使用 190 种技能库，通过对抗性干扰注入从 36 个类别扩展到 119 个类别。测试四个条件：(A) 无指导，(B) 仅文件内摘要，(C) 仅提示提示，(D) 两者结合。版本 D 在 119 个类别中实现了 100% 的主要路由准确度 (20/20)，而无指导基线的准确度为 65%。我们发现了一个基本的不对称性：主要路由可以通过显式规则来解决，而次要跨类别路由需要在数据结构中显式编码的架构意图。我们进一步将 SDSR 扩展到半结构化语料库，展示交叉引用编码如何在具有可恢复文档结构的领域中实现无需矢量数据库的操作。