焦点会议：加速多模式基础模型的硬件和软件技术

这项工作提出了一种有效加速多模式基础模型（MFM）的多层方法。它将 Transformer 模块的硬件和软件协同设计与可降低计算和内存需求的优化管道相结合。在模型开发过程中，它通过 微调 实现性能增强，以实现特定领域的适应。我们的方法进一步结合了用于优化 MFM 的硬件和软件技术。具体来说，它采用 MFM 压缩，对 Transformer 块和 MLP 通道使用分层感知混合精度量化和结构修剪。它还通过 推测解码 优化操作，模型级联通过从小到大的级联路由查询，并使用轻量级自测试来确定何时升级到更大的模型，以及序列长度、视觉分辨率和步幅以及图级运算符融合的共同优化。为了有效地执行模型，处理数据流根据底层硬件架构以及内存高效关注进行了优化，以满足片上带宽和延迟预算。为了支持这一点，采用了针对 Transformer 工作负载的专用硬件加速器，该加速器可以通过专家设计或 LLM 辅助设计方法进行开发。我们证明了所提出的方法在医疗 MFM 和代码生成任务上的有效性，并最终对节能尖峰 MFM 进行了扩展。