论文
Theoria:非形式推理状态上的重写可接受性验证
Theoria: Rewrite-Acceptability Verification over Informal Reasoning States
摘要
AI系统的答案何时该被信任?形式证明助手提供确定性但无法到达多数问题分布;标量LLM裁判提供覆盖但产出不透明分数——事后不可审计且受与任何LLM相同的连贯性问题影响。我们提出Theoria:弥合该差距的验证架构。候选解被重写为类型化状态转移序列——每步由显式理由授权(引用、计算或问题给定事实)且每步可独立审计。基础不变量是变更完备性:连续证明状态间的每个差异都必须被解释——隐藏前提作为未授权变异浮现而非静默通过。在HLE-Verified Gold(185个纯文本专家问题)上:Theoria认证105个、严格精确率91.4%。每个认证产出人类可读的证明痕迹——每步可独立质疑。整体LLM裁判在匹配覆盖率下取得可比精确率但在不同问题上失败(Jaccard 0.14-0.36)——使两方法互补。在15域95个对抗投毒证明上:结构化裁判捕获94.7%对整体评判83.2%(p=0.0017)。总体11.5分差距集中于隐藏前提(90.6%对62.5%,28分差)与伪造引用(100%对90%)。