论文
通过往返验证和修复实现忠实的自动形式化
Faithful Autoformalization via Roundtrip Verification and Repair
摘要
当 LLM 形式化自然语言时,我们如何知道输出是忠实的?我们提出了一种不需要 真值 注释的往返验证方法:形式化语句,将结果翻译回自然语言,重新形式化,并使用形式化工具检查逻辑等价性。当两种形式化一致时,这就提供了忠实形式化的证据。当他们不同意时,阶段级诊断会将错误定位到特定的转换步骤,并且范围内的修复操作员会尝试纠正该步骤。我们使用两个 LLM(Claude Opus~4.6 和 GPT-5.2)和三个修复基线来评估两个法定领域(德克萨斯州交通法规和德克萨斯州公园和野生动物法规)的框架。诊断引导范围修复是最有效的方法,其有效性取决于诊断功能的可靠性。在两个领域和两个模型中,在我们的完整修复系统下,未通过等效性检查的规则显示自然语言推理 (NLI) 漂移比通过它的规则多 1.4 倍至 2.5 倍。