DoGMA：肿瘤学中多组学对齐和多任务学习的中心法则引导基础模型

注意力机制已广泛应用于现代深度学习中，许多现有的多组学模型继承了其常规用途，以允许不受限制的双向交互。然而，生命的基本逻辑是有方向的。现有的设计经常忽视中心法则所暗示的方向性，可能限制跨异质癌症、下游任务和不完整模式设置的转移。在这项工作中，我们提出了 DoGMA，一种用于泛癌多组学分析的中心法则引导的基础模型，认为稳健的转移需要具有特定领域归纳偏差的表示。具体来说，我们将其构建在 Transformer-MoE 架构上，其中定向注意力将组间通信偏向中心法则信息流。我们通过屏蔽分层组学重建进一步预训练我们的模型，以指导其学习中心法则一致的相互作用。在不同的下游任务中，包括癌症表征学习、生存预测和转移预测，DoGMA 始终表现出强大的预测性能。消融和分析进一步表明，性能增益来自于中心法则引导的定向注意力和基于重建的预训练之间的协同作用，它们共同促进了生物学上更加一致的跨组学信息交换。总体而言，DoGMA 证明了特定领域的归纳偏差可以提高多组学基础模型的稳健性和可迁移性，为多组学表示学习的注意力机制设计提供新的见解。