LUMO：树莓派上的离线多语音助手

在互联网连接有限且隐私性强的环境中，可靠的语音交互至关重要。然而，大多数现有的语音助手依赖于基于云的服务，这会导致延迟问题、对互联网访问的依赖和隐私漏洞。这项研究提出了 LUMO（轻量级统一多语言编排器），这是一种专为边缘计算环境设计的隐私保护离线语音助手。该系统将本地自动语音识别 (ASR)、本地部署的量化大语言模型 (LLM) 和文本到语音 (TTS) 合成集成到在具有 8 GB RAM 的 Raspberry Pi 5 上运行的完全离线管道中。为了在资源受限的硬件上实现高效操作，语言模型使用 4 位 GGUF 量化进行压缩，这减少了内存使用量，同时保留了实际的对话功能。现有的基于边缘的语音助手 Mycroft 提供部分离线功能，无需生成 LLM，延迟约为 5 秒，功耗约为 12 W，而 Rhasspy 支持完全离线操作，但缺乏生成功能，延迟约为 3 秒，功耗约为 11 W。相比之下，LUMO 在低噪声条件下实现了短英语语音的误词率 (WER) 为 6.8%，端到端响应延迟为 2.0-4.0 s，峰值功耗较低约 9.0 W。该系统还实现了孟加拉语语音的有效离线识别，支持低资源环境下的多语言访问。通过完全离线运行，LUMO 提供了强大的数据隐私，减少了对云连接的需求，并且适合隐私敏感的边缘执行，例如农村医疗、教育和灾难响应场景。