无标记化分层模型的自适应目标动态分块

无标记化分层模型正在成为传统 大语言模型 (LLM) 的有前景的替代方案，解决了固有的预处理问题，例如词汇设计复杂性、词汇外 (OOV) 错误和特定于语言的约束。然而，这些字节级方法的一个重大挑战是压缩比的优化，这是决定通过块处理字节数据的模型性能的关键因素。在本文中，我们提出了自适应目标动态分块（ATDC），这是一种新颖的字节压缩控制机制，旨在增强分层架构中动态分块的有效性。我们的方法利用课程学习在训练期间逐步调整压缩比，从低压缩过渡到高压缩以稳定学习过程。我们提供了建立目标压缩比和每个最内块字节数 (BPIC) 之间关系的分析，允许在整个训练阶段跟踪块大小的演变。对 FineWeb-Edu 100B 数据集进行的评估表明，与在字节和词元级别运行的传统基线相比，配备 ATDC 的分层模型实现了具有竞争力的每字节位数 (BPB) 性能。此外，与使用固定压缩比的模型相比，所提出的方法在不同的下游任务中表现出更稳定的训练动态和卓越的最终性能，同时保持字节级处理固有的鲁棒性和灵活性。