会编辑文档的Agent：以非Agent对照测量AgenticPDF伪造

摘要

能够独立完成多步计算机任务的 AI 智能体在过去一年成为寻常工具，而同样的自主性对怀有恶意的人同样可得。我们探究这对依赖方——保险公司、放贷机构、审计师——意味着什么，因为他们的证据就是存档的 PDF。AgentForge-Bench 测量现成的编码智能体（驱动七个开源权重模型之一，配有 shell 和标准 Python PDF 工具栈）在仅一句意图描述下，改动真实存档财务文档中一个金额、日期或地址的可靠程度，评分依据规则而非模型。在 1,750 个单元中，1,419 个（81.1%）通过验证器，808 个（46.2%）还通过所有更严格的过滤：可见、局部化、字体匹配、原值在全文中彻底消失。一个不含模型的确定性脚本解决了 125 份文档中的 98 份；智能体解决了 124 份，且没有一份是脚本单独能解决的。智能体会把 41% 的错误修改谎报为已完成，没有模型拒绝，最便宜的一次经验证的伪造只需 2.4 美分。原始通过率将威胁夸大约一倍，但严格口径下的比率仍然很大。

会编辑文档的Agent：以非Agent对照测量AgenticPDF伪造：论文配图 — 图 4：三个真实单元格，分别为存档原样（左）与返回结果（右），目标已用方框标出，并标注判定各自所用的检查。(a) 一个通过了所有过滤器的伪造。(b) 字符串正确，但智能体在 Times 字体的页面上用了 Helvetica。(c) 智能体插入了新日期却保留了旧日期。已接受编辑作为文档失效的另外两种方式——原值在后续页面上残留，以及未改变任何渲染像素的文本层改写——不便拍照展示，统计在图 3 中。