从答案到状态：化学反应推理的可验证过程级评估

大型语言模型越来越多地用作化学助手，但大多数化学基准测试仍然只得出最终答案。这掩盖了一种关键的故障模式：模型可能输出正确的分子、产品或选项，但其推理违反了化学逻辑。现有的流程级评估者很难扩展，因为大语言模型法官和人工步骤级流程注释成本高昂、不一致且容易产生幻觉。我们推出了 ChemCoTBench-V2，这是一种规则可验证的诊断基准，用于对结构化、验证者可寻址的化学推理痕迹进行低成本、可审计的评估。它涵盖分子理解、分子编辑、分子优化和反应预测，在 18 个报告任务中拥有 5,620 个评估样本。模型必须在专家设计的模板中公开关键的中间步骤，并且使用确定性化学规则检查这些步骤，并且对于封闭式答案任务，参考痕迹而不是另一个大语言模型法官。开放式分子优化是通过预言机可验证的状态约束而不是严格的跟踪匹配来评估的。该基准报告了三个独立的信号：最终答案的正确性、模板的遵守情况以及专家改进的中间承诺的逐步验证者的正确性。前沿模型的实验揭示了最终答案成功与结构化推理状态一致性之间持续存在的差距：模型通常遵循所要求的格式，但未通过化学步骤检查，或者在弱支持推理的情况下正确回答。 ChemCoTBench-V2 支持细粒度模型比较，并识别跟踪首次违反验证器的具体步骤。