论文
超越 ZOH:Vision Mamba 的高级离散化策略
Beyond ZOH: Advanced Discretization Strategies for Vision Mamba
摘要
Vision Mamba 作为状态空间模型 (SSM),采用零阶保持 (ZOH) 离散化,假设输入信号在采样时刻之间保持恒定。这种假设会降低动态视觉环境中的时间保真度,并限制现代基于 SSM 的视觉模型可达到的准确性。在本文中,我们对 Vision Mamba 框架内实例化的六种离散化方案进行了系统和受控的比较:ZOH、一阶保持 (FOH)、双线性/Tustin 变换 (BIL)、多项式插值 (POL)、高阶保持 (HOH) 和四阶龙格-库塔方法 (RK4)。我们在标准视觉基准上评估每种方法,以量化其在图像分类、语义分割和对象检测中的影响。我们的结果表明,POL 和 HOH 以更高的训练时间计算为代价获得了最大的准确度增益。相比之下,BIL 相对于 ZOH 提供了一致的改进,并具有适度的额外开销,在精度和效率之间提供了最有利的权衡。这些发现阐明了离散化在基于 SSM 的视觉架构中的关键作用,并为采用 BIL 作为最先进的 SSM 模型的默认离散化基线提供了基于经验的理由。