ZK-LLM 下的位：评估可验证的私有 LLM 推理的零知识友好量化

零知识证明正在成为一种有希望的方法，用于实现私有、可验证的 LLM 治理和审计，其中监管机构、用户和审计员需要验证有关训练数据使用或 LLM 推理时间行为的声明，而模型提供者必须保护专有模型参数。然而，尽管人们对 ZK-LLM 的兴趣日益浓厚，但对 ZK 友好量化的理解仍然有限。这种差距很重要，因为在 ZK 设置中，量化直接影响 ZK 推理的算术结构、约束复杂性和证明成本。 ZK 协议在有限域上运行，并产生很大程度上取决于算术运算、非线性和查找约束的数量和类型的成本。因此，了解 ZK 友好的量化对于使 ZK-LLM 实用化至关重要。在这项工作中，我们首次系统地研究了 LLM 的 ZK 友好量化。我们首先形式化 ZK 友好量化的定义，捕获 ZK 证明生成所需的属性。然后，我们在权重、激活和非线性查找表精度的广泛设计空间中评估九种语言模型，包括 Qwen2.5-14B 和专家混合模型 Qwen3-30B-A3B。我们的结果表明，激活精度比权重精度更加敏感，而非线性查找近似可能成为效用下降的主要来源。此外，我们将 RMSNorm 反平方根查找确定为几个大型模型中反复出现的瓶颈，并通过仅在瓶颈处有选择地提高精度来恢复接近基线的效用。最后，我们表明，减少位宽或查找表大小并不一定会产生成比例的端到端证明节省，这表明传统的低位量化启发式方法并不能直接转化为 ZK 证明效率并激励操作员感知的精度选择。