论文

快速思考:估计前沿AI的无CoT任务完成时间视界

Think Fast: Estimating No-CoT Task-Completion Time Horizons of Frontier AI Models

模型评测模型能力评测

摘要

确保前沿人工智能模型安全的许多努力都依赖于监控其思想链(CoT)推理。如果模型能够在内部执行足够复杂的推理,而无需明确的思维标记,这将破坏这种监督。我们测量了前沿模型在没有 CoT 的情况下推理的能力,涵盖了涵盖数学、编码、谜题、因果关系、心理理论和战略推理等领域的 43 个基准的 30,000 多个问题。为了将模型与人类进行比较,我们估计了 $50\%$ 任务完成时间范围 (TH):模型以 $50\%$ 成功率完成任务所需的人类时间。我们用 50\%$ 推理词元范围来补充这一点:模型以 50\%$ 成功率解决任务所需的 o3-mini 推理词元的最小数量。我们发现,在过去六年中,前沿模型的 no-CoT $50\%$ TH 大约每年翻一番,GPT-5.5 的 TH 达到 3 分钟以上,推理词元范围超过 1,500 个词元。我们的中值估计预测,到 2028 年,前沿无 CoT TH 可能会超过 7 分钟,到 2030 年将超过 25 分钟,尽管这些预测存在很大的不确定性。我们建议前沿开发人员明确跟踪这一点。

快速思考:估计前沿AI的无CoT任务完成时间视界:论文配图
图 6:每个基准 50% 的时间范围。误差线是 95% 自举 CI,并且在拟合不稳定的地方很大。基准按照平均问题时间排序。