物理学就是一切所需？物理学家监督AI开发科学软件的案例研究

摘要

AI智能体是工具、合著者，还是研究者？我们呈现一个量化的案例研究（N=1）：一位物理学家在12个工作日、57个会话中监督一个AI编码智能体（Claude Code，Sonnet与Opus模型）构建CLAX-PT——JAX中的一个可微单圈微扰论模块。我们按干预层级记录并分类了15次监督事件。智能体通过对照oracle测试迭代自主解决了其中十次。另两次靠物理学家的领域知识解决。它无法解决的三次——全都躲过了oracle检测——有一个共同属性：智能体把症状缓解当作了根因解决。它在57个会话中的33个用于在一个无法表达目标物理的代码架构内调整系数，即使被提示重新考虑也无法重新评估其CLASS-PT分支选择；只有一个注入的物理概念（各向异性BAO阻尼）触发了重新设计。另外，智能体还提交了一个通过全部oracle测试的校准修正，但它不对应理论中的任何量，在任何其他宇宙学取值下都预测出错误的值。这个凑数因子在同一会话内被抓住并替换。三种监督实践被证明对抓住oracle测试遗漏的问题至关重要：在基准校准之外的多参数点进行测试；能在跨会话间暴露停滞探索的共享变更日志；以及一条禁止非物理数值补丁的明确规则。在此案例中，决定智能体输出是否可信的是监督设计，而非模型能力。弥合差距需要这样的智能体：能提出架构层面的替代方案而非在给定结构内优化，并能区分预测充分性与解释正确性——这些能力在此均未展现，也显然无法单靠规模化解决。[有删节。]