DyRA：DNN高效矩阵乘的动态残差近似

大规模基础模型跨任务表现强劲，但其体量使推理昂贵——主要源于稠密矩阵乘。先前工作以低秩分解等高效结构形式替换稠密权重矩阵降低成本。但这些方法近似权重而非决定推理精度的输出激活，因此小的权重空间误差可被输入激活放大，产生大输出误差。我们提出输入自适应的DyRA，通过在推理时校正残差输出误差改进结构化矩阵乘近似。我们证明通过直接优化输出的低秩因子能更有效地近似矩阵乘；DyRA据此动态近似并校正结构化权重近似引入的输出误差，把高效结构计算与输入相关校正结合，在相同计算预算下更忠实地近似全矩阵乘。跨视觉、语音与语言模型，DyRA持续改善相对仅结构权重近似的精度-效率权衡；显著地，DyRA为DINOv3取得1.5倍端到端GPU加速，同时精度退化较仅权重基线减少3倍以上。