论文

OmniScientist:全模态、全学科的AI科学家

OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

智能体系统Agent 架构与控制循环

摘要

基础模型的最新进展使AI科学家能够自动化日益完整的研究工作流,从假设生成、代码执行到论文撰写。然而,仅覆盖工作流并不能获取科学发现所依赖的全部证据。现有系统通常只对文本、代码、标签或预计算的摘要进行推理,使科学上具有决定性的空间、时间、跨通道和过程性关系对智能体不可用。我们提出OmniScientist,一个端到端、全模态的AI科学家,可直接基于异构的原始证据开展多学科研究。一个感知层与三个分别负责构思、实验和写作的自主智能体在确定性流水线中运行,使观察结果能够在整个研究生命周期中塑造研究问题、实验决策和最终论断。通过在代码中运行构思、严谨性与论断检查,该系统强化了新颖性筛选、统计有效性、执行溯源和数值可追溯性。我们在36个真实数据案例上评估OmniScientist,涵盖5个学科门类、4类科学证据,以及图像、信号、音频、视频、三维结构、轨迹、表格、公式和图谱等模态。该系统在全部36个案例中完成了从原始数据到可编译论文的完整路径,并使用参考推理骨干取得6.3的平均论文总分。在与仅接收预计算标量特征的盲化变体的配对比较中,直接感知改善了全部7个评估维度,并在85%的正面对比判断中获胜。这些结果表明,覆盖全生命周期的感知对于基于证据的科学发现至关重要,并为构建能力广泛的AI科学家提供了可行路径。

OmniScientist:全模态、全学科的AI科学家:论文配图
图3:OmniScientist 框架架构。在顶部,来自多个学科的原始证据进入系统,被归类为四个证据族(感知、符号、定量和程序)和 12 种模态。核心流水线由三个顺序阶段组成。首先,构思(Ideation)阶段(左)观察材料、检索文献并制定可证伪的假设。接着,实验(Experiment)阶段(中)设计测试、执行代码并检查结果,以生成包含标准输出、图表、数据和配置的执行记录。最后,写作(Writeup)阶段(右)仅选择、支撑并报告由执行记录支持的主张,以汇编最终论文。在底部,覆盖全生命周期的感知层提供空间、时间、跨通道、统计和动态分析能力。虚线箭头表示这些感知工具可供流水线的全部三个阶段使用。