论文
PlantMarkerBench:基于证据的植物标记推理的多物种基准
PlantMarkerBench: A Multi-Species Benchmark for Evidence-Grounded Plant Marker Reasoning
摘要
细胞类型特异性标记基因是植物生物学的基础,但现有资源主要依赖于精选数据库或高通量研究,而没有对科学文献中发现的支持证据进行明确建模。我们推出 PlantMarkerBench,这是一个多物种基准,用于评估全文生物学论文中基于文献的植物标记证据解释。 PlantMarkerBench 使用模块化管理管道构建,集成了大规模文献检索、混合搜索、物种感知生物基础、结构化证据提取和有针对性的人工审查。该基准涵盖四种植物——拟南芥、玉米、水稻和番茄——并包含 5,550 个句子级证据实例,并注释了标记证据有效性、证据类型和支持强度。我们定义了两个基准任务:确定候选句子是否为基因-细胞类型对提供有效的标记证据,并将证据分类为表达、定位、功能、间接或否定类别。我们对跨物种和提示策略的多种开放权重和闭源语言模型进行了基准测试。尽管前沿模型在直接表达证据上取得了相对较强的性能,但在功能性证据、间接证据和弱支持证据上的性能大幅下降,证据类型混淆成为主要的失败模式。在模糊的生物学背景下,开放重量模型还表现出较高的假阳性率。 PlantMarkerBench 为基于文献的生物证据归因提供了一个具有挑战性且可重复的评估框架,并支持未来可信赖的科学信息提取和人工智能辅助植物生物学的研究。