论文
潜在 JEPA：化学中潜在推理的抽象未来预测
Latent JEPA: Abstract Future Prediction for Latent Reasoning in Chemistry
摘要
大语言模型为化学推理提供了有前景的基础，将化学知识和多步骤问题解决结合在一起。在解决方案的细节完全确定之前，化学直觉可以提供对可能结果的初步感觉。受到这种期望如何补充显式分析的启发，我们研究了如何训练连续的潜在思维来预测未来解决方案的信息方面，而无需用语言描述每个中间步骤。我们引入了 Latent JEPA，这是一种将自回归学习与一个或多个未来视图的联合嵌入预测相结合的框架。对于化学推理，我们开发了文本和分子预测目标，将潜在思想与后续推理和分子结果联系起来。 ChemCoTBench 上的实验显示了分子优化以及多种编辑和反应指标方面的进展。表征分析表明，未来的预测使潜在想法能够提供更多关于分子结果的信息，并加强它们与化学结构的对应性。这些发现支持抽象的未来预测作为将连续潜在推理与科学结果联系起来的学习原则。