使用缓存响应进行高效查询的模型评估

通常需要在现有基准上评估新模型，以便在部署之前了解其行为。对于现代评估框架，生成和评估所有查询的响应可能会非常昂贵。在实践中，来自先前评估的模型的响应通常会被缓存——创造了使用这些附加信息的潜在机会，以减少准确评估新模型所需的查询数量。在本文中，我们介绍了一种预测基准性能的方法，该方法利用基于数据内核透视空间（DKPS）的缓存模型响应，这是一种量化黑盒设置中模型之间关系的方法。从理论上讲，我们证明基于 DKPS 的方法在某些条件下具有查询效率。根据经验，我们证明基于 DKPS 的方法在查询预算大幅减少的情况下实现了与基线相同的平均绝对误差。最后，我们提出了一种离线方法来选择一组查询，最大限度地提高参考模型的拟合优度，从而提高随机查询选择的预测准确性。