通过二元分类的成对查询改进选择性分类

在选择性分类中，模型预测有信心的数据样本的标签，并避免预测不自信的数据样本的标签。被拒绝的样品通常由专家进行标记，这是昂贵的。当模型对非拒绝样本的误差较低时，可以最好地利用专家的预算。然而，模型置信度的估计可能与模型的预测不一致，这可能导致非拒绝点出现较高的错误。这种情况很容易发生在 LLM 的上下文二元分类中。为了解决这个问题，我们建议对同一模型进行额外的成对查询。这些成对查询可以检测高错误样本，并将其纳入选择性分类技术中，以减少非拒绝样本的错误。理论上，我们建立了使用成对查询的简单算法优于不一致置信度估计的条件。我们通过对 1 的合成数据集和 4 的基于上下文学习的真实二元分类数据集进行大量实验来支持这一见解。在所有这些情况下，我们表明，与仅使用原始置信度估计（例如，LLM 的下一个标记 logits）相比，我们的算法使用成对查询可以获得更好的准确性成本权衡。