用轨迹特征路由最终层注意力的效果与成本评估

注意力路由需要一个信号来预测当前前缀上的注意力值。我们评估隐藏状态外推误差、曲率和误差变化是否可以改善这一预测，超越不确定性、一步位移、位置和状态投影。最终注意力层供应的配对执行在冻结的 SmolLM3-3B-Base 和 Qwen3.5-4B-Base 检查点中签署了下一个Token损失差异。实用程序监督的路由器在 100 个保留的 PG-19 书籍上以相同的 20% 因果调用配额进行了测试。六种预先指定的比较均未在家庭校正后显示出积极的增益。在 Qwen3.5 中，参数匹配的固定投影控制相对于轨迹路由器将 NLL 降低了 0.00356 nat/token（95% 区间为 0.00218 到 0.00487）。次要结果取决于删除的操作、特征位置和评分范围；冻结阈值在较长的视野内也会大幅漂移。随着 NLL 的增加，实际的选择查询执行会产生小的长序列延迟减少，而学习的路由器在缓存延续期间仍然较慢。该研究确定了这些轨迹摘要增量值的限制，并将分配质量与测量的推理收益分开。