自回归玻尔兹曼发生器

在热力学平衡下对分子系统进行有效采样是统计物理学中的一个标志性挑战。这一挑战推动了玻尔兹曼生成器 (BG) 的发展，它可以通过将生成模型与精确似然和重要性采样校正相结合来快速生成不相关的平衡样本。然而，现代 BG 主要依赖于归一化流 (NF)，由于严格的可逆性约束（离散时间）或计算成本高昂的似然性（连续时间），其表达能力受到限制。在本文中，我们提出了自回归玻尔兹曼生成器 (ArBG)——一种新颖的自回归建模框架——它通过脱离基于流的 BG 范式克服了这些限制。 ArBG 规避了流的拓扑约束并支持顺序推理时间干预，同时通过利用 大语言模型 中有效的架构来提供增强的可扩展性。我们凭经验证明，在所有基准测试中，ArBG 都比基于流的模型有显着改进，特别是在较大的肽系统（例如 10 残基 Chignolin）中。此外，我们还引入了 Robin，这是一个使用 ArBG 框架训练的 1.32 亿参数可转移模型，它比之前的最先进技术有所改进，将 8 残基系统上的零样本能量误差 E-W$_2$ 减少了超过 60$\%$。该代码可以在以下链接中找到：https://github.com/danyalrehman/autobg。