论文

给传述者评级:多智能体知识系统中主张级来源追踪的Isnad-Rijal框架

Grading the Narrators: An Isnad-Rijal Framework for Claim-Level Provenance in Multi-Agent Knowledge Systems

上下文与知识知识获取与更新

摘要

现代多智能体知识系统越来越多地通过自主变换链而非直接检索来积累知识。现有来源工作记录的是发生了什么——执行轨迹、工具调用、证据链接——而来源可靠性估计也早已成熟(真值发现、信誉系统)。缺少的是一个可操作的框架:把分域分级的传述者可靠性附加到主张级传输链上,并具备完备性语义、按变换类型聚合、与链路解耦的内容批评,以及服务/复核/隔离路由。古典伊斯兰圣训学面对过结构上相似的问题:决定是否应接受经由人类传述者链传递的知识。数百年间它发展出一套严谨方法论——isnad(附于每条主张的完整传输链)、rijal(对每位传述者的诚信与精确度做系统评级)、最弱环节链评估、通过独立链相互印证,以及matn批评(独立于链质量评估内容)。本文将该方法论迁移到AI系统设计中。我们贡献了从圣训学概念到多智能体流水线的形式化映射、实现主张链与分级传述者注册表的关系模式、结合链评级与内容批评的决策矩阵,以及在2万条真实物理教材主张上的评估。评估验证了最弱环节隔离与独立链印证;报告了评级恢复循环的部分失败——它漏掉了故障最高的传述者;并将两项分析标记为不确定,其中包括一项该框架无法与参考内容批评器达成的匹配覆盖比较。全文始终明确说明证据支持与尚不支持哪些主张。