化学语言模型对分子了解什么？

化学语言模型（cLM）被广泛认为是学习表面层句法模式，而不是学习有意义的分子语义。在这里，我们将稀疏自动编码器 (SAE) 应用于 MolFormer（一种仅编码器的 cLM），以机械地检查分子表示是如何跨层构建的。我们发现早期层依赖于位置跟踪潜伏来解析分子语法，而后期层则编码子结构中的原子和药理学相关特征。此外，我们还表明，在跨层传播的位置潜在破坏的驱动下，非规范 SMILES 比无效 SMILES 产生更多破坏性表示变化。为了支持进一步的探索，我们开发了 InterMol，这是一种用于分子串和结构的 SAE 激活的交互式可视化工具。