论文

ProtRLSearch:经强化学习训练的基于大语言模型的多轮多模态蛋白质搜索智能体

ProtRLSearch: A Multi-Round Multimodal Protein Search Agent with Large Language Models Trained via Reinforcement Learning

模型训练强化学习Agentic RL

摘要

医疗场景中出现的蛋白质分析任务常需要在蛋白质序列约束下进行准确推理,涉及疾病相关变异的功能解读、面向临床研究的蛋白质层面分析等任务。为应对这类任务,研究者引入搜索智能体来检索蛋白质相关信息,在以蛋白质为中心的推理中为疾病相关变异分析和蛋白质功能推理提供支持。然而,这类搜索智能体大多局限于单轮、纯文本模态的搜索,使蛋白质序列模态无法作为多模态输入纳入搜索决策过程。同时,它们依赖只关注最终答案的强化学习(RL)监督,缺乏对搜索过程的约束,使关键词选择和推理方向的偏差难以及时识别与纠正。为解决这些局限,我们提出 ProtRLSearch,一个用多维奖励 RL 训练的多轮蛋白质搜索智能体,在实时搜索中联合利用蛋白质序列与文本作为多模态输入,产出高质量报告。为评估模型在现实蛋白质查询场景中整合蛋白质序列信息与文本多模态输入的能力,我们构建了 ProtMCQs,一个由 3,000 道选择题组成、分三个难度级别的基准。该基准评估的蛋白质查询任务,涵盖从在序列约束下推理蛋白质功能与表型变化,到整合多维序列特征与信号通路、调控网络的综合性蛋白质推理。

ProtRLSearch:经强化学习训练的基于大语言模型的多轮多模态蛋白质搜索智能体
图1:单轮搜索方法与所提出方法之间的比较,展示了二者在搜索过程中的差异。红色标注表示错误情况(如关键词缺失),绿色标注表示正确结果。