论文

基础模型适配器的光谱等级认证

Spectral Rank Certification for Foundation Model Adapters

模型评测评测方法与指标

摘要

标称 LoRA 等级是一个设计参数;校准的光谱证据是一个单独的推论量。本文开发了一个有限样本框架,用于推断公共基础模型适配器中的有效排名结构。理论核心是固定维高斯一阶参考实验的精确卡方散度,未知信号方向在旋转不变参考先验下积分。由此产生的序列产生了混凝土层尺寸下的可计算有限样本 Le Cam 界限、数值截断的显式余数界限以及矩形 Baik-Ben Arous-Peche (BBP) 极限。紧凑流形拉普拉斯展开表明,有限样本似然证据还依赖于通过因子 $s_1^{|m-n|}\prod_{i\ge2}(s_1^2-s_i^2)$ 的领先谱间隙,从而激发聚类奇异值的联合校准。基于这些结果,我们为 PEFT LoRA 适配器引入了一个经验无效的工作流程:因子重建、蒙特卡洛 $p$ 值、阶段和块测试以及模块级别和语料库级别的 BH 报告。在对 26 个公共适配器、684 个模块、6 个架构系列和 31,770 个公共检查点频谱行的审计中,校准的有效等级通常远小于标称等级,并且与 95% 的能量保留存在系统性差异。在 $n=24$ 示例上测量的 RoBERTa-RTE 切片说明了从校准排名到任务评估的测量路径,而无需将切片视为效用研究。主要的实证发现是,校准后的有效排名通常远低于名义排名,并且能量保留和统计惊喜回答了不同的问题。