认证增强泛化界限

我们研究使用形式化方法为学习算法提供严格且合理的泛化界限。通过将算法稳定性的传统概念作为要验证的规范，我们证明了可达性分析的最新进展可以在给定模型和算法在样本数据集上的泛化上产生可证明的界限。由于样本特定的算法稳定性不足以限制通常的泛化分布概念，因此我们开发了一种新颖的浓度不等式，将正式认证算法的样本特定结果与所需的分布分析联系起来，以限制预期的泛化差距。由此产生的框架使得对先验泛化界限的分析能够远远超出其最初的限制性假设。我们的方法在恒定数量的算法运行中计算预期泛化差距的声音界限，而不对算法做出任何分析假设；为了实现非空边界，我们只需要经过认证的可达参数集是有界的——我们不假设但正式验证的条件。在实践中，我们证明我们的框架提供了形式化的泛化保证，其规模比其他声音计算方法严格几个数量级，范围从玩具数据集到现代大语言模型之上的微调分类头。虽然我们实施了几个众所周知的稳定性结果的认证增强版本，但我们方法的未来扩展将实现更严格的界限并增强整个现代泛化界限的实际采用。