渐进式填鸭式：可靠的词元压缩及其揭示的内容

词元填塞将序列压缩为具有近乎完美重建的学习嵌入，但固定的 词元预算 和 99% 的准确度阈值使人们不清楚残余误差是否反映了优化失败或基本限制。我们引入了渐进式临时填充，它逐个标记地增加目标前缀，仅当在固定的优化预算内不再能够实现重建时才停止。渐进轨迹占据嵌入空间中的低维结构。即使在上下文中使用原始前缀，预先填充的嵌入也会在多项选择基准上导致适度但一致的准确性下降，并且在生成评估下几乎完全崩溃能力。因果注意力剔除干预措施将这种退化追溯到模型早期层中嵌入的相互作用。这些结果将渐进式填充定位为研究压缩极限的工具，并表明完美重建（可通过脆弱的转向而不是可转移语义实现）不足以实现有意义的压缩。