通过计算分离理解推理Harness的能力收益

推理时Harness是多次调用模型、并在调用之间维护状态的外部过程，能够显著增强模型能力。本文研究这种增强的收益，以及它在多大程度上可以通过训练内化。具体而言，我们将Harness $\mathcal{A}$视为基础模型$M$外部的任意封装，并尝试利用其执行轨迹蒸馏学生模型。实证结果显示，即便采用简单的外部脚手架和小模型，推理时Harness的表现也显著优于蒸馏后的学生。随后我们证明，这种差距源于基本的表示能力限制：即使单次调用的原语只是简单的$\AC^0$查表，推理时Harness也可以计算该原语的$\NL$完全闭包；而在广泛接受的$\NL\not\subseteq\TC^0$猜想下，任何固定深度的单次前向计算都无法表示这一闭包。理论因此表明，要缩小差距，需要相对于任务扩大学生的表示能力，例如增大模型、降低任务难度或延长思维链；我们也通过实证验证了这一点。最后，我们将实验扩展到竞赛数学中的Agentic Harness，同样的差距再次出现。总体上，Harness赋予基础模型显著的表示能力增益，仅在其轨迹上训练同类学生模型，无法将这种增益完整转移回权重。