自然语言断言的忠实自动形式化

正式合同对于软件测试和验证至关重要，但编写合同仍然是劳动密集型且容易出错。 LLM 为自动形式化提供了一条有前途的道路：从自然语言规范合成可执行断言，从而弥合非正式开发人员意图和正式可执行规范之间的差距。我们提出 Monty：一个断言的自动形式化框架，它解决了断言有效性期望和自然语言中的歧义性的挑战。我们的技术基于使用新颖的一致性分数度量和根据形式化断言测试代码获得的有效性分数来过滤形式化。我们对源自 22 个类似集合的 Java 类的 541 个断言生成任务评估了我们的方法，并表明我们的技术比直接使用 LLM 翻译断言时更可靠地生成 真值（平均精度提高了 20 个点）。