Samsone：用于设备上推理的一系列开放式小型音频语言模型

大型音频语言模型的成功推动了超过数十亿参数的大规模多模态网络的发展。然而，对隐私保护、低延迟处理的需求已将焦点转向能够在设备上执行的小型音频语言模型 (SALM)。在本文中，我们介绍了 Samsone，这是一个专为边缘计算而设计的 SALM 系列。我们的核心型号 Samsone-134M 在多个基准测试中为其尺寸级别树立了新的最先进水平。我们通过引入 Samsone-99M 和 Samsone-356M 进一步探索 SALM 的缩放定律。尽管 Samsone 系列占地面积紧凑，但其性能可与大几个数量级的型号相媲美。为了促进开放研究和可重复性，我们使用公开数据对 Samsone 进行训练。我们发布了训练代码、模型权重、移动优化检查点，并提供开源 Android 应用程序来演示 Samsone 的实时设备上推理。