modelDNA：根据采样权重指纹进行校准谱系验证和合并分解

开放权重语言模型的谱系图是自我报告的：Hugging Face 的 base_model 元数据字段是可选的且未经验证，超过 60% 的 Hub 模型根本没有记录任何谱系。研究文献中存在根据权重检测谱系的方法，但每种方法都以与一个信号和一个实验相关的纸质代码形式发布；当出处争议爆发时，需要手动重新进行分析。本报告介绍了 modelDNA，这是一种从大约 100-300 MB 范围 HTTP 读取（而不是 7B 模型的完整 15 GB 下载）中提取模型指纹的工具，将指纹与跨四个已发布信号系列的基础模型参考数据库进行比较，并返回具有校准概率的八个判决类别之一，更倾向于诚实弃权而不是置信错误。在 15 个具有组织记录的亲子关系的真实 Hub 模型的基准上，根据 8 个候选基础（13 个阳性，107 个硬阴性）进行判断，系统达到了 AUROC 1.0，其报告阈值零误报，并且 13/13 正确的 top-1 父母归因。该报告的第二个贡献是合并分解。每个主流权重合并方法对于每个张量都是（近）线性的，并且指纹样本位置是张量身份的确定性函数，因此合并模型的指纹是其父指纹的相同线性组合。因此，可以通过和一约束最小二乘法仅从指纹中恢复混合权重。针对已发布的合并包配置为 真值 的合并，该方法将 slerp 合并的层插值曲线恢复为 r = 0.999，并将dara_ties 合并的混合权重恢复到已发布值的 0.011 范围内，而无需下载指纹之外的任何权重。 55 个模型的所有指纹、基准测试和推断的谱系图都是公开的，并且可以离线复制。