MentorPulse：刷新长格式生成的跨模型潜在指导

跨模型潜在指导让冻结的大导师对输入进行一次编码，冻结的小学生从结果信号中生成。现有方法保持该信号固定，假设它随着输出的增长而保持有用；我们证明这在长格式生成中失败了。在多轮指令跟踪中，静态指导使 4B 学生的约束满意度比无指导基线低 2.5 个点；每 16 个词元刷新一次 无需训练 仅更改内存内容，并恢复比该基线高 2.0 点的增益。我们建议 MentorPulse 以实际成本保持指导的新鲜度：它将导师状态压缩到有上限的槽内存中，增量处理新生成的词元，并更新学生通过门控交叉注意力读取的内存，而无需重置学生的 KV 缓存。窗口刷新训练将桥暴露给前缀条件记忆。在 13 个数据集中，MentorPulse 在宏观平均水平上缩小了 52.2% 的导师与学生差距，优于 C2C、T2T 和等预算 LoRA，并且长期输出的收益最大。它在来自三个模型系列的所有 11 个导师-学生对上表现最佳，随着能力差距的扩大，边缘会缩小，并且轻量级的读取模式检查可以在部署之前预测增益。测量的成本确定了主导长输出文本指导的刷新间隔。