DualBudget：分离长文本扩散的上下文连接与专家激活预算

长上下文扩散需要反复承担 token 交互与前馈计算两种成本。本文将其形式化为两个独立预算：注意力图可用的边数，以及每个 token 激活的专家数。这一视角将局部、空洞和全局注意力与条件专家计算联系起来，但不假定仅靠稀疏性便可保留文档级信息。研究明确归一化的掩码注意力，区分去噪深度与采样迭代次数，并推导图与计算的界。作者分析一项称为 DualBudget 的稀疏专家配置，涉及科学文献摘要、多跳问答、对话和句对预测，并保留所提供表格中的全部测量值。长度实验显示，在最长16K的范围内，它相对所列基线有增益，同时性能随长度增加出现可测量的下降。消融中，三个报告指标的变化有好有坏；成本记录则表明，相对 DiffuSeq 减少20%，但计时口径未说明。分析将这些观测与未测量的训练速度、吸收态、全局连贯性及部署内存主张明确区分。