论文

Nanbeige4.2-3B在Apple Silicon上:修复部署Bug并降低Looped Transformer内存开销

Nanbeige4.2-3B on Apple Silicon: Fixing Deployment Bugs and Decreasing Looped Transformer Memory Overhead

模型优化端侧模型

摘要

Nanbeige4.2-3B是一个30亿参数的Agentic模型,围绕Looped Transformer(LT)构建,后者将同一层堆叠复用于第二次前向传播,在不增加参数的情况下获得有效深度。在Apple Silicon(MPS)上评估时,我们发现五个独立的Bug,导致已发布检查点无法通过Hugging Face transformers开箱即用地运行(包括一个被静默清零的RoPE缓冲区和对已被移除的transformers缓存API的调用)。此外,我们表明仅修复这些Bug仍不足以完成Agentic任务,原因在于LT为实现参数效率而采用的层复用策略(它实际上使峰值注意力内存翻倍)。为此,我们引入一种分块预填充(chunked-prefill)策略以缓解内存容量惩罚,在32 GiB共享内存上将可用上下文宽度扩展2.7倍。然而,即使降低了内存开销,我们表明仍需打补丁才能使Nanbeige4.2-3B可用;解决系统提示与MPS原生内存两类Bug后,才能在标准MCP和工具调用基准上进行可靠评估。在MCPMark的一个子集上,调试后的模型可完成多达30%的真实Agentic任务(原为0%);而在BFCL上,它在单工具调用上接近满分(但多数多工具测试失败)。我们在 https://github.com/johnhalloran321/Nanbeige4.2-3B-mps-fix 发布了修补后的检查点、系统提示优化器和评估工具。