论文

EpiBench:多模式代理的多轮研究工作流程基准测试

EpiBench: Benchmarking Multi-turn Research Workflows for Multimodal Agents

智能体系统Agent任务评测

摘要

科学研究遵循多回合、多步骤的工作流程,需要主动搜索文献、查阅图表、整合论文中的证据,以调整实验设置并支持可重复的结论。现有基准并未对这种联合能力进行系统评估,很大程度上低估了主动搜索、多证据整合和持续证据使用。在这项工作中,我们介绍了 EpiBench,这是一种情景式多轮多模式基准测试,可实例化简短的研究工作流程。给定一项研究任务,智能体必须多次浏览论文,对齐图表中的证据,并使用记忆中积累的证据来回答需要跨论文比较和多图整合的客观问题。 EpiBench 引入了一个过程级评估框架,用于对研究药物进行细粒度测试和诊断。我们的实验表明,即使是领先的模型在硬分割上的准确率也仅为 29.23%,这表明多回合、多证据研究工作流程还有很大的改进空间,为可验证和可重复的研究代理提供了评估平台。