DAYJOB：长期专业工作的基准

专业工作通常从一个简短的请求开始，让专业人员弄清楚需要什么、哪些文件重要以及请求的前提是否成立。我们推出 DAYJOB，这是由医疗保健 (50) 和金融 (80) 领域的专业人士构建的 130 项任务的基准。据估计，医疗保健专业人士平均需要花费 13.6 小时完成这些任务，金融专业人士平均需要花费 16.6 小时完成这些任务。每个任务都是一个容器化的 Harbor 环境，具有二进制标准的专家评分标准（每个任务的中位数为 47.5 和 57.5），Agentic 评审将其应用于交付的文件，并且仅当满足每个标准时尝试才会通过。在 13 个开发商的 30 种模型配置中，最强的 Claude Opus 5.5 通过了 24.7% 的医疗保健和 23.9% 的金融尝试，中位配置通过了 0.6% 和 2.5%。在案例研究中，Agent接受记录矛盾的前提，并通过其他一致的分析携带错误的输入。我们发布了所有医疗保健任务、80 项财务任务中的 50 项、评估Harness和排行榜。