DiG-bench：游戏中的发现

发现——形成新颖的概括——是科学过程的核心部分。尽管重要，当前AI基准版图中存在空缺：很少有基准能在目标未知的受控环境中直接考察通过实验发现新知识的能力。为填补这一空缺，我们发布一个新基准：DiG-bench（Discovery in Games，游戏中的发现）。DiG-bench由70个独立游戏组成。每个游戏被编码为一个短字符串，并具有必须通过交互与实验才能发现的独特变换规则。游戏的关卡呈现一系列挑战以检验规则是否被发现，而每关的获胜条件同样是未知的。我们为AI智能体提供七个难度梯级的游戏。最低梯级可被多个模型常规解开，而最高梯级则挑战在agentic框架下的最佳模型。全部70个游戏都至少有一名人类在首次尝试中解开。其中21个游戏公开发布，其余保密用于安全评估。