论文
人工智能科学家代理可以从实验室在环反馈中学习吗?迭代扰动发现的证据
Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery
摘要
最近的工作质疑 大语言模型 (LLM) 是否可以为科学实验设计执行真正的上下文学习 (ICL),之前的研究表明基于 LLM 的代理对实验反馈不敏感。我们通过在细胞绘画高内涵筛选中进行迭代扰动发现的 800 次独立重复实验,为这个问题提供了新的线索。我们将使用实验反馈迭代更新其假设的 LLM 代理与仅依赖于预训练知识检索的零样本基线进行比较。获得反馈使每个功能的发现平均增加 $+53.4\%$ ($p = 0.003$)。为了测试这种改进是否来自真正的反馈驱动学习,而不是提示诱导的预训练知识回忆,我们引入了随机反馈控制,其中命中/未命中标签被排列。在此控制下,性能增益消失,表明观察到的改进取决于反馈信号的结构($+13.0$ 命中,$p = 0.003$)。我们进一步研究模型能力如何影响反馈利用率。从 Claude Sonnet 4.5 升级到 4.6 将基因幻觉率从 ${\sim}33\%$--$45\%$ 降低到 ${\sim}3$--$9\%$,将不显着的 ICL 效果 ($+0.8$, $p = 0.32$) 转化为大而高度显着的改善 ($+11.0$, $p=0.003$),以获得最佳效果ICL 策略。这些结果表明,只有当模型达到足够的能力阈值时,才能从实验反馈中进行有效的情境学习。