论文

超越输出批判:经由任务蒸馏的自我修正

Beyond Output Critique: Self-Correction via Task Distillation

模型推理推理验证与自校正

摘要

大语言模型(LLM)已展现出有前景的自我修正能力,即迭代精炼可提升生成回答的质量。然而,多数现有方法在输出批判层面运作,只修补表面错误,往往无法纠正更深层的推理缺陷。我们提出 SELF-THOUGHT,一个在解答精炼之前引入任务抽象中间步骤的框架。给定输入与初始回答,模型先把任务蒸馏为捕获关键变量、约束与问题结构的结构化模板。这一抽象随后引导解答实例化,使后续回答建立在对任务更清晰的理解之上,并减少误差传播。关键的是,我们证明这些抽象可跨模型迁移:大模型生成的模板可作为小型 LLM 的结构化指南,而小模型通常难以进行内在自我修正。通过复用蒸馏出的任务结构,小模型无需大量微调或依赖外部验证器即可获得更可靠的精炼。在多样推理任务上的实验表明,SELF-THOUGHT 提升了大模型与小模型的准确率、鲁棒性与泛化能力,为更可靠的自我修正语言系统提供了可扩展路径。