ED-DiT：基于电子密度的可转移分子表示的物理引导扩散预训练

预训练在学习可转移表示方面表现出了巨大的潜力，但对于基于电子密度的分子学习，它仍然没有得到充分的探索。电子密度提供了分子电子结构的连续三维描述，捕获局部空间模式和全局物理量。这就提出了一个关键问题：电子密度场能否用于自监督预训练，以学习跨不同电子结构相关任务传输的共享表示？我们提出 ED-DiT，一种物理引导的扩散 Transformer，用于电子密度点云的自监督预训练。 ED-DiT 通过重建跨扩散噪声级别的损坏和部分屏蔽的对数密度场来学习可重用的表示。进一步引入电子数一致性约束以保持总电子质量。预训练编码器可适用于属性预测、开/闭壳分类、分子电子密度检索和分子条件电子密度预测。六个 EDBench 任务的实验表明，ED-DiT 始终优于从头开始训练的相同架构，尤其是在有限的监督下。对于分子条件电子密度预测，它将 RMSE 从 2.2474 降低到 1.3753，并超过了可用的基线。仅使用 10% 的标签，就能将轨道能量预测 RMSE 从 0.0293 提高到 0.0138。这些结果证明了物理引导的电子密度预训练对于学习可转移分子表示的有效性。