通过集成裕度和局部预测变异性测量一致性：存在预测多重性的情况下审核决策系统

罗生门效应是一种机器学习现象，其中同样准确的模型对相同的输入产生不同的预测（预测多重性）。现有的工作主要关注单个模型内的多重性，但在更复杂的决策系统中，罗生门效应的影响尚不清楚。在这项工作中，我们从审核不正确的集成预测的角度来研究多重性，其中转移实例进行人工审查的决定是基于一致性标准，该标准将集成裕度与每个组成模型的局部预测变异性度量相结合。通过对稳定性和平滑性的温和假设，我们表明，随着集合大小和用于测量局部预测变异性的样本数量的增加，有限集合的一致性分数收敛到罗生门集的预期模型的相应一致性分数。为了证明所提出标准的有效性，我们评估了应用于自然语言理解任务的 Transformer 模型和用于表格数据分类任务的 大语言模型 的参数高效 微调 的框架。我们的实验表明，与审核单个模型相比，来自罗生门集的集成模型大大降低了错误预测不受检查的风险，同时仅导致转移数量适度增加。此外，完整罗生门集的审计行为可以通过相对适度规模的有限集合来近似近似，某些数据集的风险接近于零。我们进一步证明，与现有的一致性度量相比，所提出的度量与已建立的预测多重性度量表现出更强的一致性，从而提供了一种更可靠的方法来捕获罗生门集中的多重性。