论文
从基准到基准:智能体能否在现实世界的药物发现中幸存下来?
From Benchmark to Bench: Can Agents Survive Real-World Drug Discovery?
摘要
Agentic系统越来越多地协调分子设计工具,但尚不清楚堆栈的哪一层限制了实际项目的结果。我们开发了 MAGI,一个开放式模块化智能体,它可以编写目标、启动和监控优化、解释结构-活动关系,并相应地修改其策略。 MAGI 直接通过LLM或委托给 REINVENT 4 生成分子,评分服务可在通用合约后互换。我们在三个制药公司的九项回顾性先导化合物优化活动中对其进行了测试,并在固定的时间截止条件下重播。两条路线都产生了有效的结构:LLM提案更接近当地化学,并在更少的操作中达到了相当或更高的主要活性,而 REINVENT 则探索了更广泛的化学空间。一场活动是否达到其目标取决于预测模型,而不是生成路线:达到的目标取决于模型对所提出的化学反应的准确性,一旦化学反应超出了模型的适用范围,就会下降。另外,一项盲法评估询问 MAGI 的输出是否可以通过专家工作:化学家无法区分Agentic提案和留出化合物,并判断 SAR 推理大致合理但不完整。总之,这些结果将 MAGI 定位为可插入现有计算化学工作流程的协调层。然而,实际项目的上限目前仍然由记分器的适用性而不是工具编排决定。
