论文
PhageBench:LLM 能否理解原始噬菌体基因组?
PhageBench: Can LLMs Understand Raw Bacteriophage Genomes?
摘要
噬菌体通常被称为生物圈的暗物质,在调节微生物生态系统和抗生素替代品中发挥着关键作用。因此,对其基因组的准确解释具有重要的科学和实用价值。虽然通用 大语言模型 (LLM) 擅长理解生物文本,但它们直接解释原始核苷酸序列和执行生物推理的能力仍未得到充分探索。为了解决这个问题,我们推出了 PhageBench,这是第一个旨在通过反映生物信息学专家的工作流程来评估噬菌体基因组理解的基准。该数据集包含 5,600 个高质量样本,涵盖三个阶段的五项核心任务:筛选、质量控制和表型注释。我们对八个 LLM 的评估表明,通用推理模型在噬菌体重叠群识别和宿主预测方面显着优于随机基线,展示了基因组理解的巨大潜力。然而,它们在涉及远程依赖性和细粒度功能定位的复杂推理任务中表现出显着的局限性。这些发现强调了开发具有增强的生物序列推理能力的下一代模型的必要性。