沙丘社区
论文

BioMedArena：构建与评估生物医学深度研究智能体的开源工具包

BioMedArena: An Open-source Toolkit for Building and Evaluating Biomedical Deep Research Agents

Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton
模型评测上下文与知识智能体系统上下文工程Agent Harness基准与评测资源

摘要

如今构建深度研究代理是胶合代码的一项练习：在相同基准上评估的相同主干可以在不同论文中报告不同的精度，因为工具和工具注册表都不同，并且将新的基础模型集成到可比较的评估表面中需要数周的特定于模型的工程。我们将其称为每篇论文的工程税，并发布了 BioMedArena，这是一个开源工具包，它不仅可以缓解这种情况，而且在评估不同基础模型作为深度研究代理时，还为公平比较不同的基础模型提供了一个舞台。 BioMedArena 解耦了生物医学代理评估的六层——基准加载、工具暴露、工具选择、执行模式、上下文管理和评分——并公开了 9 个功能系列的 147 个生物医学基准和 75 个生物医学工具。添加新模型、基准测试或工具可以简化为注册几行提供程序适配器。我们还提供了 6 个具有 6 个上下文管理策略的代理工具，为 12 个骨干网提供了具有竞争力的研究能力和显着提高的性能，在 8 个代表性生物医学基准上取得了最先进的 (SOTA) 结果，比之前的 SOTA 平均提升了 +15.03 个百分点。工具包、配置和每任务跟踪可在 https://github.com/AI-in-Health/BioMedArena 获取

BioMedArena：构建与评估生物医学深度研究智能体的开源工具包
图 1：BioMedArena 下 8 个代表性生物医学基准的性能提升，增强了骨干网，平均超过之前的 SOTA +15.03 个百分点 (pp)。