LLM 维护的 Wiki 知识库的渐进披露：预先注册的消融

LLM 代理越来越多地根据他们帮助维护的知识库回答问题。一种普遍的直觉认为，渐进式披露、紧凑的目录加上每页的一行摘要，以便代理仅加载所需的内容，应该比查询大型整体索引更便宜。我们在由 LLM 维护的真实 709 页 Markdown wiki 上进行了测试。我们对其进行改造以实现渐进式披露，并运行预先注册的消融，其中语料库的四个版本仅在代理获取内容的方式上有所不同：页面主体在各个臂上是字节相同的，冻结为不可变的 git 标签，因此任何测量到的差异都仅归因于访问结构。我们采用三种访问条件（受协议约束的代理、自由的自路由代理和目录预加载机制），并通过跨家庭法官对经过验证的标准参考答案进行盲目评分。一个试点颠覆了这个前提：一个有能力的工具使用代理永远不会加载索引，从问题推断页面路径并直接读取它，因此具体保存改造目标不会实现。因此，我们将答案质量放在首位，而将成本放在次要位置。质量并不逊色（检索臂与预注册裕度内的索引基线相匹配），而每种方案的成本均下降，从自路由代理的大约三分之一到目录预加载下的一半以上，所有置信区间不包括零。节省不是来自避免索引负载，而是来自更有针对性的访问：检索臂引用更少的页面并需要更少的工具轮换。该研究同时作为评估有效性的案例研究，将威胁有效性原则应用于产生它的工具。