论文

前沿AI训练零知识验证成为可能

Zero knowledge verification for frontier AI training is possible

AI 基础设施分布式训练基础设施

摘要

前沿人工智能治理框架越来越多地使用累积训练计算作为指定高影响力模型的主要标准,但执行依赖于自我报告,因为不存在训练的技术验证原语。任何未来关于前沿人工智能的国际协议都面临着同样的问题:对具有显着外部性的技术的协调监管历来依赖于技术验证,如果没有技术验证,协议就是声明性的。最近的治理分析认为零知识证明是一个有前途的候选者,但目前在前沿规模上不切实际 [26, 4]。我们认为这种不实用性是范式束缚的而不是根本性的,并提出了一种前沿密集 预训练 的验证架构,结合了预先提交的训练规范、节点间网络观察和中间计算的动态 Merkle 承诺,并通过具有本机 BF16/FP32 预编译的零知识虚拟机 (zkVM) 进行验证。该证明检查 GPU 执行的实际浮点计算而不是定点近似,并通过私有训练规范保留模型架构的机密性。该协议产生三种证明类型:初始化时的起源证明、整个运行过程中的训练步骤证明以及事前证明,将与政策相关的声明强制执行为运行不变量,从而将训练记录转变为治理可执行的工件。我们预计可部署的概念验证将在大约 36 个月内以个位数百分比的训练端开销实现,而验证级定制芯片的周期为六到十年。十三个开放研究和工程问题被列为外部贡献的研究议程