论文

LS-AR:自回归LLM的未来预测潜引导

LS-AR: Future-Predictive Latent Steering in Autoregressive LLMs

模型架构新型架构

摘要

标准自回归(AR)模型在单一共享token序列中处理高层任务指令、状态历史与瞬态token,因而缺乏把宏观目标与上下文噪声隔离所需的架构机制。为克服单通道限制,我们提出潜引导自回归(LS-AR)——经FiLM条件把连续目标引导与离散token解码解耦的双通道架构。我们评估用于长rollout持续宏观目标保持的静态目标编码器(P0)与生成中递归潜更新的动态状态跟踪器(Pt)。在越过上下文限制的长程检索(H=1024,W=500)上,LS-AR(Static)实现100%目标召回而参数匹配基线崩溃(0%),同时吞吐提升约35%、峰值VRAM削减52.8%。在强制扰动(k=1)下的Blocksworld规划中,LS-AR(Dynamic)保持89.0%完成率对基线71.0%,但零样本实体扩展(N→N+1)暴露单向量容量限制(0%)。最后的双通道权威分析显示:文本目标丢弃建立潜主导控制,为文本提示注入提供结构性防御,同时引入潜向量攻击面。