论文

DFM Mimir v1:开放式 HRM,仅使用允许的 后训练 数据在 1B 参数下提供前沿性能

DFM Mimir v1: An Open HRM Delivering Frontier Performance at 1B Parameters Using Only Permissible Post-Training Data

模型训练预训练

摘要

当前的 大语言模型 开发依赖于大量且通常不允许的数据集,这为致力于开源和道德来源数据的研究人员设置了很高的障碍。我们推出 Mimir v1,这是一种基于分层推理模型 (HRM) 架构的 10 亿参数语言模型,该模型从头开始训练,为英语提供极具竞争力的性能,并仅使用允许的 后训练 数据为丹麦语设定了新的技术水平。 Mimir v1 在 161 个数据集的混合数据集上进行训练,其性能优于原始 HRM-Text 1B,并与 Qwen 3.5 4B 和 Gemma 4 E2B 等更大的前沿模型竞争,并在英语、数学和代码以及丹麦语的 20 个基准测试中进行了测试。该模型可在 Hugging Face Hub 上找到:https://huggingface.co/danish-foundation-models/DFM-Mimir