Flow of Spans：借助GFlowNets将语言模型泛化到动态跨度词表

标准自回归语言模型从固定词表中逐 token 生成文本，当把 token 采样视为动作时，会诱导出树结构的状态空间，这限制了灵活性与表达力。近期工作通过采样检索到的文本跨度（span）引入动态词表，但忽视了同一句子可由不同长度的跨度组成，缺乏对有向无环图（Directed Acyclic Graph，DAG）状态空间的显式建模。这导致对组合路径的探索受限，并偏向所选路径。生成流网络（Generative Flow Networks，GFlowNets）在状态空间的高效探索与泛化方面能力强大，对具有 DAG 结构的空间尤其如此。然而，此前基于 GFlowNets 的语言模型在 token 层面运作，仍局限于树结构空间，限制了其潜力。本工作提出 Flow of SpanS（FOSS），一个有原则的、面向跨度生成的 GFlowNets 框架。FoSS 通过灵活切分检索文本构建动态跨度词表，确保 DAG 结构的状态空间，使 GFlowNets 能够探索多样的组合路径并提升泛化。借助专门的奖励模型，FoSS 生成多样且高质量的文本。实验上，FoSS 在文本生成上将 MAUVE 分数相对 Transformer 提升最高达 12.5%，在知识密集型任务上取得 3.5% 的增益，持续优于最先进方法。规模化实验进一步表明，FoSS 受益于更大的模型、更多数据和更丰富的检索语料，并保持对强基线的优势。