评估基于 Transformer 的基因组语言模型 DNABERT-2 的事后解释

解释对基因组序列的深度神经网络预测可以实现生物学洞察和假设生成——通常比单独的预测性能更有趣。虽然卷积神经网络 (CNN) 的解释已被证明可以捕获基因组序列中的相关模式，但尚不清楚这是否会转移到更具表现力的基于 Transformer 的基因组语言模型 (gLM)。为了回答这个问题，我们采用了 AttnLRP（分层相关性传播对注意力机制的扩展），并将其应用于最先进的 gLM DNABERT-2。因此，我们提出了从词元和核苷酸层面转移解释的策略。我们使用多个指标评估 AttnLRP 对基因组数据集的适应性。此外，我们还对 DNABERT-2 和基线 CNN 的解释进行了广泛的比较。我们的结果表明 AttnLRP 可以产生与已知生物模式相对应的可靠解释。因此，与 CNN 一样，gLM 也可以帮助获得生物学见解。这项工作有助于提高 gLM 的可解释性，并解决不同架构之间相关性归因的可比性。