通过任务级自回归推理弥合知行差距

大语言模型（LLM）常常对有缺陷或表述不当的输入生成看似有效的答案。这并非源于知识缺失：在判别式提示下，同样的模型大多能识别此类问题，却无法在标准生成式回复中体现这一点。这揭示了判别式识别与生成式行为之间根本性的知行差距（know-act gap）。已有工作大多只在数学应用题或问答等狭窄场景中刻画这一问题，对如何整合这两种模式关注有限。在本工作中，我们借助 FaultyScience——一个新构建的大规模、跨学科的有缺陷科学问题基准——进行了全面分析。我们表明该差距普遍存在，其根源在于词元级自回归将任务选择（校验还是作答）与内容生成纠缠在一起，使判别式知识无法被利用。为解决这一问题，我们提出 DeIllusionLLM，一个显式建模该决策的任务级自回归框架。通过自蒸馏，该模型在单一骨干网络内统一了判别式判断与生成式推理。实验表明，DeIllusionLLM 在自然提示下大幅减少了明知有误仍作答的失败，同时保持通用推理性能，证明自蒸馏是弥合判别—生成知行差距的一种有效且可扩展的方案。