关于测试集的超参数调优

机器学习教科书中经常提到“不要调整测试集上的超参数”。违反它被认为是一种大罪，会产生误导性的乐观结果，破坏基准的完整性，甚至可以被解释为科学欺诈。然而有证据表明，测试集超参数调整在实践中确实发生，这使得了解其实际后果变得更加重要。那么情况到底有多糟糕呢？在这项工作中，我们质疑这一教条并对其进行实证检验。我们系统地研究了在 MNIST-1D、CIFAR-10 和 GLUE 基准测试中的三个任务的测试集上调整超参数所导致的性能膨胀的程度。我们的实验表明，虽然这种影响是真实且显着的，但相对于其他噪声源来说，它通常很小。在许多情况下，我们发现调整测试集可以恢复与调整验证集时完全相同的模型。最重要的是，我们发现在测试集调整后模型的排名基本上保持不变，因此一致的测试集调整可能不会使基准或模型选择无效。我们的结果要求对测试集上的超参数调整有更细致的看法，从而刺激研究人员公开报告测试调整。