你只通过一次：在冻结语言模型的单次前向传递中一起回答和弃权
You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model
摘要
推理任务上的冻结语言模型有两个弱点：它没有充分利用自己的残差流已经编码的证据，并且它无法检测输入何时不足以回答，因此它会进行虚构。本文整合了两条在同一残差流上解决这些问题的研究路线：条件引导探针在中间堆栈层写入流并从冻结的主干恢复推理准确性，零样本充分性方向读取流并在信息不足时放弃。在一次前向传递中部署时，它们会产生干扰：转向写入会改变方向读取的状态，在小型模型上花费高达 8 个 AUROC 点的跨域传输；单独的干净传递会使推理成本加倍。我们保持方向固定，并训练一个小型网络，以根据转向残差重建预转向残差——（转向、干净）对上的均方误差，没有充分标签——并读取重建的方向。由此产生的系统 YOPO（只通过一次）可在冻结的 Qwen2.5 主干网络 (1.5B/3B/7B) 的一次前向传递中做出应答、转向和弃权。端到端，三向精度是冻结基线的两倍以上（1.5B alphaNLI 上为 0.375->0.798），并且一次通过在每个尺度上都优于两次通过参考（0.798/0.830/0.893 vs 0.753/0.790/0.863），并且在六个模型系列的 10 个主干上。我们绘制了能力转移边界，量化了不应该训练弃权的原则；源端审计发现我们自己的 alphaNLI 结构泄漏了表面伪影，因此架构声明基于本机标签复制（SQuAD2、RepLiQA、MuSiQue）；据我们所知，在标准的四域套件上，我们贡献了第一个“回答或弃权”基准，其中我们的门在每个域内数据集上名列前茅，而无标签方向是唯一能够在域转移中生存的门系列。