PertReason：扰动效应的细胞状态条件机械推理的知识基础基准和框架

评估科学领域的机器学习需要将现实分布变化下的正确预测与正确原因分开。我们介绍 PertReason，这是一个基于知识的基准和框架套件，用于关于扰动效应的细胞状态条件推理。 PertReasonQA 的核心是一个基准测试，用于测试模型是否能够生成机械上忠实的解释，同时对复杂的变化（例如新细胞和看不见的扰动）保持稳健。 PertReasonQA 将多个细胞环境中的单细胞遗传和化学扰动数据与知识图相结合，并动态调节细胞特定基础状态的路径以避免通用记忆。对最先进模型的评估揭示了预测准确性和机械推理之间的系统性差距。具体来说，这些模型表现出的故障模式在标准基准测试中基本上是不可见的，例如通过有缺陷的逻辑得出正确答案、忽略细胞上下文以及生成方向不一致的机制。作为基准测试的参考探针，我们提出了 PertReasonLM，这是一个经过训练的 大语言模型，可以将结果预测与特定上下文的机械推理相结合。我们的模型通过将基本原理基于特定背景的路径并加强结果和机制之间的一致性来针对已识别的故障模式。我们共同提供了一个诊断框架，用于暴露和减轻数据丰富的科学系统中忠实推理的失败。