迈向可审计的AI科学家：LLM智能体的假设演化协议

摘要

大语言模型（LLM）智能体日益被期待在AI驱动的科学发现中扮演中心角色。凭借广博知识、灵活推理与工具使用，它们有潜力经反复提出假设、检验假设、依证据修订信念来自主探索并解决科学问题。但在当前智能体中，这些假设、检验与信念更新被埋在非结构化日志里，没有任何机制让智能体或人类研究者审计该过程。我们提出假设演化协议（HEP）：一个把假设生成、评估与演化作为显式、可审计操作的智能体治控。在材料科学研究任务上，配备HEP的智能体运行规划式智能体所缺乏的“假设—检验—证据—信念”循环，跨研究问题泛化，且随基座LLM能力增强而更充分地利用该协议。这些结果标志着向可审计AI科学家迈出一步——其科学推理可被检查、验证并在此之上构建。

迈向可审计的AI科学家：LLM智能体的假设演化协议：论文配图 — 图 1：假设演化协议 (HEP) 概述。 (a) 给定一项研究任务，LLM 代理人照常运行实验和任何其他工具，同时通过 HEP 管理其假设、证据和信念。该协议引导代理完成假设-测试-证据-信念循环的迭代，并以最终报告结束任务。 HEP 由可审计的 HEP 注册表和 HEP 工具组成。 (b) HEP 注册表是管理每个假设状态的存储。每个都作为具有仅附加事件日志的持久对象保存在唯一的假设 ID 下。扩展示例显示了假设 hyp_31a58d 的事件日志，该假设以先验信念 P⁡(H)=0.35P(H)=0.35 提出，并在附加证据将其信念降低至 0.160.16 后被驳斥。每个事件都保留在仅附加日志中，因此完整记录是可审核的。 (c) HEP 工具将 HEP 注册表分为三组向代理公开：提议和演进、测试和判断以及读取。 (d) 假设是通过四种机制产生和演变的：从头开始、受启发、完善和合并。 (e) 通过 HEP 管理的假设采用五种生命周期状态之一：提议、测试不足、支持、驳斥或休眠。状态转换是通过transition_hypothesis 工具执行的，每个假设都有望被确定为支持、反驳或休眠。