FlyAOC：评估果蝇科学知识库的Agentic本体策展

科学知识库通过把原始文献中的发现策展为结构化、可查询的格式，为人类研究者和新兴AI系统加速科学发现。维护这些资源需要专家策展人检索相关论文、核对跨文档证据并产出以本体为依据的标注——而现有基准聚焦于命名实体识别或关系抽取等孤立子任务，未能涵盖这一工作流。我们提出FlyBench，用于评估AI智能体在从科学文献进行端到端Agentic本体策展方面的能力。在只给定一个基因符号的情况下，智能体必须在一个包含16,898篇全文论文的语料库中检索并阅读，以产出结构化标注：描述功能的Gene Ontology词条、表达模式，以及连接数十年命名沿革的历史同义词。该基准包含来自FlyBase（果蝇知识库）的100个基因的7,397条专家策展标注。我们评估了四种基线智能体架构：记忆式、固定流水线、单智能体与多智能体。我们发现架构选择显著影响性能，多智能体设计优于更简单的方案，但扩大骨干模型规模收益递减。所有基线都留有巨大改进空间。我们的分析揭示了若干可指导未来发展的发现；例如，智能体主要利用检索来确认参数化知识，而非发现新信息。我们希望FlyBench能推动检索增强科学推理的进展，这一能力在各科学领域有广泛应用。