论文
阶段审计:跨 Wiki 表的可审计源边界发现
Stage-Audit: Auditable Source-Frontier Discovery for Cross-Wiki Tables
摘要
LLM 策划的表格可能会出现基于源的情况,同时包含不受支持的行:策展人可能会从参数内存中调用条目,并追溯附加不是实际来源的页面级引用。我们在 Seed2Frontier 发现中研究了这种危险:从种子页面查找补充维基百科页面以组装结构化表格的任务。 Stage-Audit 通过不相交的管理者-审计者写入权限、行级源引用门以及针对键、模式、源角色、基数和范围的 12 检查审计分类来解决这个问题。在涵盖 15 个顶级域的精选 51 个实例 Seed2Frontier 评估集上,Stage-Audit 将原始 LLM curator 的源前沿精度从 0.356 提高到 0.505(相对 +42%),将 F1 从 0.334 提高到 0.451(+35%),同时保持明确的每行源可追溯性。普通的 LLM 与 Stage-Audit 比较隔离了策略贡献,而不是一般基于 LLM 的发现。