论文

Assay:把验证证据绑定到代码版本,控制AI辅助交付

Assay: Claims That Decay With the Code. Content-Addressed Evidence Graphs for Accountable AI-Assisted Software Delivery

智能体系统上下文与知识知识图谱Agent Harness智能体互操作协议Context GraphMCP

摘要

人工智能编码Agent以两种相互关联的方式失败。他们将大部分时间花在重新发现事物的存在上,当工作变得困难时,他们在没有证据的情况下断言成功。存储库索引通过廉价的上下文解决了第一个问题,而具有对抗性审查的编排框架通过问责制解决了第二个问题。两者都在两个时间尺度上描述相同的对象,即代码库的结构:代码现在的真实情况,以及经过验证的真实情况、修订版本、由谁验证。分析使观察变得可行。Agent提出的每个声明(测试通过、没有秘密、保留行为)都绑定到它所覆盖的代码的依赖锥的 Merkle 哈希,因此当该代码或它所依赖的任何内容发生更改时,声明就会过时。我们证明了绑定是健全且最小的,并且更改的爆炸半径正是它无效的声明集。在图表上,我们放置了与风险成比例的证据义务、具有职责分离的有界审查协议,以及不参考任何模型的合并门:覆盖范围、新鲜度、签名、退出代码、合理性、证据单调性(“不删除失败的测试”的机械形式)和审查状态。 Assay 是一个带有 MCP 服务器的无依赖 Python 工具。在五个公共存储库中,600 个词元摘要的成本比探索Agent低 14 到 114 倍,热重建比冷重建快 5 倍,锥体绑定重新验证了 7.9% 到 81.9% 的声明,其中存储库绑定重新验证了所有声明,而每个模块绑定错过了 23% 到 68% 的所需失效,并且门在承认时阻止了 9 种脚本对抗行为中的 9 种诚实的人。本文中的每个数字都是由已发布的脚本生成的。