推断的生成过程多样性预测跨语言模型的相关故障

多样性是集体系统弹性功能中广泛观察到的因素，但重要的多样性类型取决于系统的属性和故障模式。这种区别对于由多种语言模型组成的系统很重要。不同的模型可以被视为独立的组件，即使它们的行为和故障仍然密切相关。使用语义相似性对语言模型群体进行评估表明语义多样性有限，但这仅捕获了观察到的输出含义的差异。我们认为模型多样性的一个更基本的概念是生成过程多样性，即能够生成观察到的输出的过程之间的差异。借鉴算法信息理论，我们使用原始模型输出之间的归一化压缩距离，针对排列控制进行残差，作为推断生成过程多样性的度量。在 38 个语言模型中，该度量识别了语义相似性所遗漏的群体结构，并预测了十个不相交基准系列的模型对之间机会校正相关失败的跨任务变化，超出了语义相似性和模型对能力。跨基准部分排名关联为 $-0.216$，95% 区间为 $[-0.309,-0.122]$，并且所有十个基准的估计均为负值。这些结果表明，生成过程多样性的增加与模型对中相关失败的减少相关，而模型对中的相关失败并非归因于语义相似性或能力。推断的生成过程多样性为研究安全相关环境中多模型系统的多样性提供了一种新颖且实用的方法。