离线语音 AI 模块：端侧模型量化、硬件与语言基准

离线人工智能模块工作流可实现完全离线运行的语音优先人工智能系统的实用、低功耗和社区可访问的部署。该工作流专为语音为主要交互模式且互联网连接不可靠或缺乏的非洲语言社区而设计，提供三个增强组件：模块化语音优先离线架构、低成本硬件参考物料清单、可重复量化以及用于 2-5B 参数类指令调整语言模型的可重复量化和基准测试管道。本文介绍了跨两个硬件层的堆栈的第一个端到端基准评估：NVIDIA Jetson Orin NX（TierB）和 Raspberry Pi5（TierA）。三种指令调整模型在四种量化格式中进行评估，评估部署指标（解码吞吐量、聊天延迟、记忆、功率）和多语言质量（MasakhaNEWS 上英语、豪萨语、伊博语、尼日利亚洋泾浜语和约鲁巴语的主题分类准确性；每种语言的困惑度漂移）。使用阿姆哈拉语和奥罗莫语上的 Ethio-ASR 评估两个级别的语音识别。主要发现是，Q4_K_M 量化代表了在两个层上部署的最佳大小与质量权衡：gemma-4-E2B - 它在 TierB 上的 Q4_K_M 上实现了 28.8t/s 解码吞吐量和 89.2% 的主题分类准确度，而所有三个模型都在 TierA 上的 16GB 记忆预算内运行。