Orthrus：通过双视图扩散实现内存高效的并行词元生成

我们引入 Orthrus，这是一种简单高效的双架构框架，它将自回归 大语言模型 (LLM) 的精确生成保真度与扩散模型的高速并行词元生成相结合。标准自回归解码的顺序性质代表了高吞吐量推理的基本瓶颈。虽然扩散语言模型试图通过并行生成来打破这一障碍，但它们面临着性能显着下降、训练成本高昂以及缺乏严格的收敛保证的问题。 Orthrus 本身就解决了这种二分法。该框架旨在无缝集成到现有的 Transformer 中，通过轻量级可训练模块增强了冻结的 LLM，以在标准自回归视图旁边创建并行扩散视图。在这个统一的系统中，两个视图都处理完全相同的高保真键值（KV）缓存；自回归头执行上下文预填充以构造准确的KV表示，而扩散头执行并行生成。通过在两个视图之间采用精确的共识机制，Orthrus 保证了无损推理，只需 O(1) 内存缓存开销和最少的参数添加即可实现高达 7.8 倍的加速。