Ai2 发布 Olmo Hybrid 混合架构模型

Olmo Hybrid 是 Ai2 发布的 7B 混合架构语言模型家族，将 Transformer 注意力层与 Gated DeltaNet 线性循环层交错组合，输入输出均为文本，长上下文扩展至 64K tokens。官方称相较纯 Transformer 架构，该设计改善了长上下文处理与训练效率。项目延续 Olmo 的开放口径：权重、训练代码、数据与检查点均公开，适合研究者在完全开放的条件下复现和改进。对研究架构效率与长文本任务的用户，它提供了可透明审查的混合架构样本。