论文

BioTool:用于增强 大语言模型 生物医学能力的综合工具调用数据集

BioTool: A Comprehensive Tool-Calling Dataset for Enhancing Biomedical Capabilities of Large Language Models

模型评测基准与评测资源

摘要

尽管大语言模型(LLM)在通用任务上取得了成功,但它们在生物医学等高度专业化领域的表现仍然不能令人满意。一个关键的限制是 LLM 无法有效利用生物医学工具,而临床专家和生物医学研究人员在日常工作流程中广泛依赖这些工具。虽然最近的通用领域工具调用数据集极大地提高了 LLM 代理的能力,但生物医学领域的现有工作很大程度上依赖于上下文学习并将模型限制为一小组工具。为了解决这一差距,我们引入了 BioTool,这是一个专为 微调 LLM 设计的综合生物医学工具调用数据集。 BioTool 包含从 NCBI、Ensembl 和 UniProt 数据库收集的 34 个常用工具,以及 7,040 个高质量、经过人类验证的查询 API 调用对,涵盖变异、基因组学、蛋白质组学、进化和普通生物学。 BioTool 上的 微调 和 40 亿参数 LLM 在生物医学工具调用性能方面取得了显着改进,优于尖端商业 LLM(例如 GPT-5.1)。此外,人类专家评估表明,与不使用工具的相同 LLM 相比,集成 BioTool 微调的工具调用程序显着提高了下游答案质量,凸显了 BioTool 在增强 LLM 生物医学能力方面的有效性。完整的数据集和评估代码可在 https://github.com/gxx27/BioTool 获取