NeuReasoner：通过神经元混合实现可解释、可控和统一推理

大型推理模型（LRM）最近在复杂的推理任务中取得了显着的成功。然而，更仔细的审查揭示了影响性能和成本的持久故障模式： I) 步内级别，以计算或推导错误为标志； II) 步级间，涉及振荡和停滞； III) 实例层面，导致适应不良的过度思考。现有的努力目标是孤立的水平，没有统一，而它们的黑盒性质和对强化学习的依赖阻碍了可解释性和可控性。为了弥补这些差距，我们进行了深入的白盒分析，识别关键神经元（神经元混合，MoN）及其与不同故障相关的波动模式。基于这些见解，我们提出了 NeuReasoner，一个由 MoN 驱动的可解释、可控且统一的推理框架。从技术上讲，NeuReasoner 将用于故障检测的轻量级 MLP 与通过 SFT 学习的特殊词元触发的自我纠正机制集成在一起。在推理过程中，在检测到故障时插入特殊词元以启动可控的补救行为。对六个基准、六个骨干模型（8B~70B）与九个竞争基准的广泛评估表明，NeuReasoner 实现了高达 27.0% 的性能提升，同时减少了 19.6% ~ 63.3% 的词元消耗。