论文

Mol-JEPA:分子的多模态联合嵌入预测架构

Mol-JEPA: A multimodal Joint Embedding Predictive Architecture for Molecules

模型训练预训练

摘要

尽管分子基础模型最近取得了进展,但仍然存在一些局限性,例如化学上无效的增强、模态崩溃和生化环境的不完整表示。为了应对这些挑战,我们提出了 \textbf{Mol-JEPA},一个用于学习分子世界模型的可扩展框架。我们的模型不依赖次优分子扰动,而是使用模态掩蔽来利用来自分子结构、细胞表型、结合亲和力、ADMET 图谱、量子化学模拟和其他药物发现数据的信息。在各种基准测试中,我们表明 Mol-JEPA 学习到的表示具有强大的性能,证明了通过潜在空间预测整合生化背景的价值。