BYOD：只训练LoRA把四类自回归语言模型转为扩散生成

与自回归（AR）模型不同，扩散语言模型（DLM）允许并行更新 token、灵活生成和双向注意力，但领先系统往往依赖昂贵预训练或全模型微调。Build Your Own DLM（BYOD）提出可泛化、仅使用 LoRA 的参数高效 AR 到 DLM 转换方案。无需针对架构专门调参，BYOD 即可使 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 实现扩散生成；据作者所知，这是首次报告 Mistral 模型的 AR 到 DLM 转换。适配器占最终参数的4.1%–5.8%，基础模型全部参数保持冻结；每次25000步迭代转换最多使用102.4M个 token，在单张 Google Colab GPU 上耗时3.1–4.0小时。四个模型均能从全掩码序列生成，在受控注意力测试中利用双向上下文，并保留大量原模型知识。在九任务评测中，BYOD-Gemma 是效果最强的 BYOD 转换版本，平均准确率50.6%，同一评测框架下 LLaDA 8B Instruct 为51.9%。低网络函数求值次数（NFE）预算下的开放生成质量仍是主要限制：以64步生成128个 token 时，BYOD 困惑度为8.3–11.1，LLaDA 为4.1，原 AR 模型为2.2–3.0。作者提供独立的训练与评测实现，以及全部四种转换的交互演示，以便进一步实验和检查。BYOD 为将扩散生成扩展到其他现有模型族提供实用途径，也明确了高效转换下一步需弥合的差距。