论文
右重置:通过前缀删除进行分块
Right Reset: Chunking by Prefix Removal
摘要
从因果语言模型中删除左侧上下文揭示了一种有用的边界:模型处理相同右侧标记而几乎没有变化的边缘。我们将这种观察转化为前缀去除探测,并引入右重置(RR),它测量右侧隐藏状态轨迹的保留。动态程序将 RR 边缘分数转换为可变长度的块。在删除分隔符和布局后连接主题相似的记录形成的扁平文本上,RR 将 47.7% 的原始记录恢复为干净单元,而 BGE 嵌入边界的恢复率为 25.9%,这是没有特定任务 模型训练 的最强测试传统基线。渲染和 OCR 后增益仍然存在。来自同一 Qwen3-4B 层的被动分数和相同规模指令模型的直接提示在扁平化记录上表现要差得多。在六种语言模型中,RR 选择的剪切也始终比未选择的候选边缘经历更少的本地输出中断。观察到的标记似然比读数在某些架构中具有竞争力,这表明核心贡献是干预:当表面结构较弱时,上下文依赖本身可以提供边界信号。