参数高尔夫：什么真正有效？

在严格的工件预算下，语言模型可以改进多远？ Parameter Golf 将此问题作为一个开放社区挑战提出，参与者训练最好的语言模型，完整的工件（训练代码 + 压缩权重）需要在 16 MB 以内，并在 8xH100 SXM GPU 上在十分钟内完成训练。质量以每字节位数 (BPB) 来衡量，即对未见过的文本的每个字节进行编码所需的平均位数。我们分析了比赛中的 2,037 个拉取请求和 1,430 个干净评分的提交，构建了 84 种优化技术的分类，并衡量了每种技术对 BPB 的贡献。经过验证的排行榜分数在三个阶段中从 1.2244 下降到 1.058 BPB，降低了 13.6%，尽管个别技术很少将 BPB 提高超过 1%。我们表明，在竞争性提交中重新测量时，大多数技术的收益都会缩小，从而隔离了少数有帮助的方法，而不管周围的堆栈如何。代码和数据可在 https://github.com/PMP56/pmgolf-analysis 获取。