镜像心灵：将类人元认知策略提炼成大语言模型

摘要

大推理模型（LRM）在复杂的推理任务中通常表现出结构脆弱性，即使在成功推导有效的中间步骤后也无法产生正确的答案。通过系统分析，我们观察到，这些失败往往不是源于推理能力的缺乏，而是源于自我调节控制的缺陷，即有效逻辑因不受控制的探索或未能认识到逻辑充分性而不稳定。受这一观察的启发，我们提出了元认知行为调整（MBT），这是一种训练后框架，可将元认知行为明确地注入模型的思维过程中。 MBT 通过两个互补的公式来实现这一点：(1) MBT-S，它从头开始合成严格的推理轨迹；(2) MBT-R，它重写学生的初始轨迹以稳定内在的探索模式。跨多跳 QA 基准的实验表明，MBT 始终优于基准，在具有挑战性的基准上取得了显着的进步。通过有效消除推理崩溃，MBT 实现了更高的准确性，同时显着减少了token消耗，这表明内化元认知策略可以带来更稳定、更稳健的推理。

面向多跳问答的大语言模型元认知行为调优 — 图3：元认知行为微调（Metacognitive Behavioral Tuning, MBT）的总体框架。我们采用两种互补策略进行行为注入：MBT-S 从零开始合成严谨的轨迹，而 MBT-R 重写学生的初始轨迹以稳定内在探索。模型随后通过监督微调（Supervised Fine-Tuning, SFT）内化这些行为，再通过组相对策略优化（Group Relative Policy Optimization, GRPO）增强推理鲁棒性。