论文
MolMem：用于样本高效分子优化的记忆增强代理强化学习
MolMem: Memory-Augmented Agentic Reinforcement Learning for Sample-Efficient Molecular Optimization
摘要
在药物发现中，分子优化旨在迭代地改进先导化合物以改善分子特性，同时保持与原始分子的结构相似性。然而，每次预言机评估都很昂贵，这使得样本效率成为有限预言机预算下现有方法的关键挑战。试错方法需要多次预言机调用，而利用外部知识的方法往往会重复使用熟悉的模板并努力实现具有挑战性的目标。一个关键的缺失部分是长期记忆，它可以为决策奠定基础，并为未来的优化提供可重用的见解。为了解决这个问题，我们提出了 MolMem（\textbf{Mol}eular optimization with \textbf{Mem}ory），这是一种具有双记忆系统的多轮代理强化学习（RL）框架。具体来说，MolMem 使用静态样本记忆来检索冷启动基础的相关样本，并使用进化技能记忆将成功的轨迹提炼成可重用的策略。基于这种记忆增强的公式，我们通过密集的逐步奖励来训练策略，将成本较高的轨迹采样转化为改善未来优化的长期知识。大量实验表明，MolMem 仅使用 500 个 oracle 调用，在单属性任务上取得了 90\% 的成功（比最佳基线高出 1.5$\times$），在多属性任务上取得了 52\% 的成功。我们的代码可在 https://github.com/REAL-Lab-NU/MolMem 获取。