论文

DANTINOX:多范式语言建模的统一框架

DANTINOX: A Unified Framework for Multi-Paradigm Language Modeling

AI 基础设施模型服务框架

摘要

语言生成研究越来越多地跨越三种范式:自回归解码、离散掩蔽扩散和连续流匹配。比较它们很困难,因为它们都存在于单独的代码库中,因此测量的差异通常反映实现细节而不是范例本身。我们推出了 DantinoX,一个开源 JAX/Flax 库,其中单个模块化 Transformer 主干服务于所有三种范式。切换生成范式、注意力机制或硬件拓扑仅需要更改配置,而主干架构、分词器、初始化策略和训练基础设施保持一致。这样可以在一个 API 内进行受控的跨范式比较,以进行训练、流式推理和基准测试。