论文

量化异构AI生态系统中的模型独特性

Quantifying Model Uniqueness in Heterogeneous AI Ecosystems

模型评测评测方法与指标

摘要

随着AI系统从孤立的预测器演化为由基础模型与专用适配器构成的复杂异构生态系统,区分真正的行为新颖性与功能冗余成为关键治理挑战。本文提出一个基于In-Silico准实验设计(ISQED)的模型独特性审计统计框架。通过跨模型实施匹配干预,我们分离内在模型身份,并把独特性量化为同伴不可表达残差(PIER),即目标行为中严格无法归约为其任何同伴随机凸组合的成分;PIER趋近于零则表征基于路由的替换成为可能。我们通过三项关键贡献确立生态系统审计的理论基础。第一,我们证明观测日志的一个根本局限:没有干预控制,独特性在数学上不可辨识。第二,我们推导主动审计的缩放律,表明自适应查询协议达到极小极大最优样本效率。第三,我们证明合作博弈论方法(如Shapley值)根本无法检测冗余。我们经由DISCO(Design-Integrated Synthetic Control)估计器实现该框架,并部署于多样生态系统,包括计算机视觉模型(ResNet/ConvNeXt/ViT)、大语言模型(BERT/RoBERTa)与城市规模交通预测器。这些结果使可信AI超越解释单个模型:它们确立了一门有原则的、基于干预的异构模型生态系统审计与治理科学。