Wisteria：DNA语言模型的统一多尺度特征学习框架

DNA语言模型旨在通过捕捉DNA序列中的长程依赖来破译基因组的调控语法与语义。既有方法强调长程token交互，却常忽视局部基序与全局依赖的相互作用。本文提出Wisteria：一个在统一框架内整合多尺度特征学习的基因组语言模型。具体地，Wisteria在Mamba架构上增补门控膨胀卷积以捕捉局部基序与调控模式，同时以门控多层感知机精化全局依赖。我们进一步引入基于傅里叶的注意力机制，支持频域建模、周期延展与长度泛化。在覆盖短程与长程依赖的四种实验 setting 下，Wisteria在下游基准上相对有竞争力的DNA语言模型基线展现出强劲性能。结果表明Wisteria有效统一了多尺度基因组序列分析的局部与全局依赖建模。