论文

样本高效的生成共形预测

Sample-Efficient Generative Conformal Prediction

模型评测评测方法与指标鲁棒性、公平性与可信度评测

摘要

生成共形预测从条件生成器的样本构建不确定性集,仅当样本很好地代表响应分布时,该不确定性集才有效。这可能需要许多样本,每个样本的成本都很高,就像在大型扩散模型和科学模拟器中一样,因此必须有效地利用抽样预算。现有方法在每个输入处抽取相同数量的样本,在响应分布简单的情况下浪费样本,在响应分布复杂的情况下采样不足,这会导致集合膨胀并使这些输入未被覆盖。我们提出了 CASA(适形自适应样本分配),它描述了附加样本的边际价值,并在输入之间分配样本,以最小化受边际覆盖范围和平均抽样预算影响的预期集合大小。理论分析表明,在相同的预算下,自适应分配会产生比固定计数更小的集合:错过的模式会迫使半径跨越模式之间的间隙,甚至预言机半径也无法补偿它。在合成任务和真实任务上,CASA 产生了大量 在相同的预算下设置更小的集合,通常可以提高条件覆盖范围,并补充现有的半径自适应方法。