MechReasoner：定性物理学中机械推理的模拟器和基准

这项工作介绍了 MechReasoner，这是一种基于融合定性物理学的机械定性模拟器，以及机械推理的基准。当前的大语言模型（LLM）生成流畅的机制描述，但不能可靠地遵循底层结构和因果约束。该基准测试答案是否保留模拟器许可的模糊性、量化声明、情节图转换证据、修复和跟踪支持判断。它的 1,120 个项目是根据 18 个目录机制和 6 个任务系列的可接受的解释集、组件状态、场景限制、汇合约束和推导步骤确定性生成的。每个机制都经过转换器的结构和拓扑检查以及针对定量模拟的行为检查。 GPT-5.5 精度随着系列特定机械复杂性的增加而降低，从最低复杂性桶 (B1) 中的 76.1% 到最高复杂性桶 (B4) 中的 38.0%。在控制渲染提示和预期答案长度后，负关联仍然存在。这些结果表明，定性模拟器可以支持机械推理的可审计 NLP 基准。