开源项目

NextTransformer交付XSA与独立REL注意力插件及同协议训练证据

XSA and independent Inkling REL: completed 49.152B-token runs and paired BOS diagnostics

模型架构模型评测模型训练Transformer预训练评测方法与指标

概述

NextTransformer为语言模型架构提供共享训练、数据、评测和计算账本。此次默认分支合入XSA及独立Inkling REL两套可运行插件:XSA按头移除沿当前有效value方向的输出分量;REL以查询相关的相对logit替代RoPE,提供可微参考与Triton前后向,覆盖2048上下文,但明确拒绝增量KV解码。 两次训练均完成46875步、49.152B输入token,固定数据顺序、分词器、批次与优化器。原始结果、模型卡、成本证明及诊断脚本一同交付,权重尚未公开托管。XSA的SQuAD原分数18.04%,对裁切输入只恢复首位BOS后为50.44%;REL从40.13%至55.22%。这些是诊断结果,不能替换原协议分数或与未经相同处理的基线混比。 PR于北京时间11月16日合入,属于源码及研究证据交付。原记录保留本地64-rank布局审计,并说明上游既有注册布局检查会报告该布局未登记;合入事实不改写这些历史审计,单种子也不证明架构普遍更优。