论文

Lean验证代数结构上的LLM证明机制路由错误

Mechanism-level routing failure in LLMs over Lean-verified algebraic structures

模型评测模型行为与机制分析

摘要

我们在正式验证的代数语料库上对 大语言模型 (LLM) 中的结构路由失败进行了实证研究。该任务需要从固定的封闭模板集中选择正确的证明机制标签,用于从 Lean 4 中的 FiberRing 形式化中提取的紧凑数学对象,其中每个项目都锚定到经过 Lean 验证的工件,并从相应的证书系列中分配一个标签。我们的核心发现是机制级路由上限:在盲条件下,gpt-oss-120b 在 22 个 FiberRing 项目(n=66;温度=0,种子=0)上实现了 80.3% 的模板准确性,而 Llama 3.3 70B 达到了 68.2%。暴露带有机制的Lean判定/见证提示(条件 A2)可将准确度提高到 90.9% 和 81.8%——+10.6 和 +13.6 pp 的差距被称为提示引起的路由提升。主要故障是 CRT 到环等效错误路由:gpt-oss-120b 盲目错误路由 12 个 CRT 项目中的 7 个 (58.3%),A2 下为零。 Llama 中的跨模型分离是值得注意的:两种条件下的判决准确性相同 (95.5%),而模板准确性提高了 13.6 pp——证实了真值推理和证明机制分类是可分离的能力。跨语料库扩展(B 组;6 个 POM/CollisionKernel 项,72 个评估)提供了小型跨模块检查:CRT 粒度压缩以不同标签重新出现,并出现逆向跨模型分离。这些发现将路由器假设 (Cazares 2026) 扩展到形式代数结构。完整的管道、清单和结果位于 https://github.com/bytepro-ai/fiber-routing-eval。