论文
尽管语言模型在努力时会出错:自我纠正科学生成的保形预测
Though Language Models Err While They Strive: Conformal Prediction for Self-Correcting Scientific Generation
摘要
大语言模型 在生成技术内容时经常违反基本科学原理,从而破坏了其在科学应用中的可靠性。我们引入了科学可行性控制 SFC,这是一种图结构的共形预测框架,它通过渐进的绝对相干事实验证为科学推理的有效性提供统计保证。我们的方法将科学推理分解为原子的绝对一致的事实单元,要求个体对物理定律的正确性和先前上下文的逻辑证实,解决早期科学错误污染后续推理步骤的级联效应。与孤立处理声明的基于独立性的方法不同,SFC 将逻辑依赖关系建模为近似推导图,并在检测到科学违规时通过动态分支的实时验证进行操作,系统使用经过验证的上下文作为基础分支到替代生成路径。我们在既定的科学推理基准(包括 PhyX 多模态物理、MATH、ScienceQA 和 ARC Challenge)上展示了 SFC,在 PhyX 物理推理上实现了 50.1% 的准确率,大大优于最新的推理模型(包括 DeepSeek-R1 49.8% 和 GPT-4 45.8%),同时提供 91.7% 的科学有效性以及 alpha 等于 0.10 置信水平的正式保形覆盖保证,并将科学违法行为减少了 73%跨多个模型架构。