InteractBench：未公开信息下的竞争性编程 LLM 基准测试

竞争性编程越来越多地被用来评估大语言模型（LLM）的算法推理能力。然而，现有的基准主要关注全信息任务，其中所有问题输入都是预先提供的。这忽略了算法推理的一个关键维度：当关键信息没有预先透露时，生成的程序运行的能力。交互式问题是竞争性编程的一个独特组成部分，体现了这一挑战。这些问题要求程序在严格的协议约束和有限的查询预算下与交互器（判断程序）进行多轮交互，并且只有在响应查询时才会显示新信息。为了弥补这一差距，我们引入了 InteractBench，这是一个由 Codeforces、AtCoder、IOI 和 ICPC 策划的 322 个高质量交互问题组成的基准测试。每个问题都与可执行的本地交互器打包在一起，从而实现完全离线评估。与现有基准不同，InteractBench 评估模型生成的代码是否可以动态获取信息和跟踪状态。我们的评估揭示了显着的交互差距：即使是最先进的推理模型在交互问题上也取得了有限的成功。除了成功率之外，我们还提出了一种细粒度的失败分类法来诊断这些缺陷的根本原因。尽管算法逻辑错误仍然占主导地位，但违反协议和查询预算超支的情况却很常见。代码可在 https://github.com/kmsgk0/InteractBench 获取。