重新发现与神话相关的错误的基准测试

Anthropic 的 2026 年 4 月 Mythos 材料将基准声明与跨 OpenBSD、FreeBSD、Linux、FFmpeg 和浏览器的具体错误查找故事结合起来。本文报告了对六个公共或高可信度 Mythos 链接系统任务的受控目标文件重新发现实验。每个模型接收相同的目标文件、只读源工具、每个任务重复 3 次、以及一个手动目标匹配规则；提示省略 CVE 标识符、补丁哈希、咨询文本、作者姓名、披露日期和答案关键根本原因语言。该实验包含 54 次计算的模型任务尝试：三个模型、六个任务和 3 个重复，每个模型有 18 次尝试。 GPT-5.5 xhigh 实现了 5/18 的目标重新发现，覆盖了 2/6 的任务；单独计算一个错误目标 mpegts.c 发现的结果得出 3/6 个不同的核心错误。 Claude Opus 4.7 实现了 1/18 的目标重新发现，覆盖了 1/6 的任务。 Kimi K2 记录了 0/18 目标重新发现。主要的失败模式是早期承诺在分配的文件中看似合理的替代候选：模型经常提交基于源的假设，同时缺少由公共神话补丁证据纠正的特定不变量。这些结果并没有反驳 Anthropic 未公开的工作流程，但表明在这种有利的目标文件支架下，系统特定的提示在 54 次计数的尝试中仅产生 6 个目标匹配。