论文

用于分布外发现的主动流扩展:从理论到分子

Active Flow Expansion for Out-of-Distribution Discovery: from Theory to Molecules

模型训练预训练

摘要

标准流量和扩散 预训练 与可用数据(例如分子)的分布相匹配,通常仅覆盖有效设计空间的一小部分。然而,在生成发现中,人们的目标是对有效的新自然设计进行抽样,在适合观察数据的标准模型下分配可忽略不计的概率,因此无法访问。为了克服这个限制,我们脱离了数据分布匹配,并通过其生成集来查看生成模型:它以不可忽略的概率覆盖的区域。这允许为分布外流建模引入新的学习原理:扩大模型的生成集以增加有效设计空间的覆盖范围。我们提出了主动流扩展(ActFlow),这是一种持续的 预训练 方法,该方法利用验证者反馈,通过迭代适应通过学习流表示中的主动探索生成的合成数据,将预训练模型扩展到新的有效区域。理论上,我们为分布外流建模建立了首创的统计学习保证,将生成集扩展分析为学习表示上的本地到全局可达性过程。根据经验,我们使用合适的分布外生成建模指标来评估 ActFlow,涵盖小有机分子、中型药物分子、治疗肽和蛋白质序列设计任务。结果表明,ActFlow 将有效覆盖范围扩展到远远超出初始预训练模型建模的区域,显着优于广泛采用的合成流 预训练 方法。