颠覆字节级语言建模的层次结构

这项工作研究了最近的字节级模型及其在完美操作字符方面的失败。最先进的字节级模型使用分层结构，从字节级开始，下采样到字级，然后上采样回到字节。虽然这提高了训练和推理效率，但我们发现分层设计本身限制了字符级理解，纯字节级模型在字符操作任务上始终优于分层变体。将 Transformer 层消融为注意力和前馈组件进一步揭示了字节级注意力是驱动这种行为的主要机制。总之，我们的结果为分层字节模型的字符级故障提供了解释，并在计算效率和细粒度字符理解之间建立了明确的权衡。